Il palazzo, sede della Biblioteca Civica, si amalgama con le diverse costruzioni costituenti il grande complesso di Santa Croce, ex convento degli Agostiniani. Acquisendo l'edificio, i Conti di Langosco apportarono importanti modifiche alla situazione preesistente. La parte più pregevole (scalone d'onore a due rampe e salone d'ingresso) fu costruita nel 1776 su disegno di Giovanni Battista Borra. Nel palazzo, al tempo dei Gonzaga, aveva sede il Senato Casalese e come Salone del Senato è tuttora indicata la grande sala d'ingresso, restaurata negli anni '60.