Il Palazzo è il frutto di una serie di interventi edilizi eseguiti per lo più nella seconda metà del Settecento, volti a testimoniare la nobiltà di una delle più importanti famiglie della città, la famiglia de’ Rossi.