После заката династии Скалигеров крепость использовалась как оружейный склад венецианцами и в семнадцатом веке здесь располагалась Военная Академия Венецианской Республики; позднее под властью ранцузов и австрийцев в замке располагались казармы. В 1923 году в замке были проведены капитальные реставрационные работы и ликвидированы наслоения последних веков, в течение которых сооружение использовалось для военных целей, и в 1928 году в стенах замка разместился музей, который с тех пор носит имя замка — Касельвеккьо.
Замок был сценой для ряда важных для региона исторических событий: в 1943 году здесь проходила ассамблея, давшая начало Республике Сало, и позднее стал местом проведения судебного процесса, в ходе которого фашисты приговорили к смерти нескольких членов своей партии, выступивших за низложение Муссолини, в том числе зятя диктатора Галеаццо Чиано. Замок значительно пострадал в результате бомбардировок, и в 1957 году знаменитый архитектор Карло Скарпа и директор музея Личиско Маганьято начинают работы по капитальной реставрации и переустройству музея, в результате которых он приобрел сегодняшний вид.