Nel 1501, il Duca Ercole I, da’ in feudo Castellarano con S. Martino in Rio e Campogalliano a suo fratello Sigismondo, che diviene perciò il primo feudatario del ramo cadetto estense degli Este-S.Martino. Questa famiglia terrà Castellarano fino al 1732, anno in cui si estinse. Degni di menzione sono alcuni di questi Signori di Castellarano: il già citato Sigismondo I, personaggio di grande valore, ebbe molti incarichi da parte del fratello Ercole I, Duca di Ferrara e fece costruire per lui, a Ferrara, il Palazzo dei Diamanti (il diamante era infatti il simbolo di Ercole). Sigismondo II, signore di Castellarano dal 1512 al 1560, abile politico, fu molto caro ad Emanuele Filiberto di Savoia e all’Imperatore Carlo V di Spagna, scelse Castellarano quale luogo per la sua sepoltura. Filippo, suo figlio, fu signore di Castellarano dal 1560 al 1592, fu ritenuto il più probabile successore di Alfonso Il d’Este, ultimo Duca di Ferrara che non generò eredi, ma gli venne in fine preferito Cesare d’Este-Montecchio, appartenente ad una linea “bastarda”, per cause non ancora chiarite. Carlo Filiberto I (1592-1652) ebbe vari incarichi dai Savoia, fu Cavaliere della SS.Annunziata e Cavaliere del Toson d’Oro nel 1618 fece pubblicare le Constitutioni di S.Martino in Rio, Castellarano e Campogalliano che riformarono gli antichi Statuti quattrocenteschi, con un generale inasprimento delle pene. E’ durante il governo di questo Marchese di S.Martino, che Sassuolo si stacca dalla chiesa Plebana di Castellarano nonostante l’interessamento del Castellaranese Cardinal Toschi. Da ultimo ricordiamo Carlo Filiberto II, (1732-1752), ultimo del ramo Este-S. Martino. Durante il suo governo si ebbero trasformazioni alla rocca e la costruzione del famoso acquedotto, spesso definito, a sproposito, Romano.
Il Duca di Modena affidò poi il feudo al Bresciano, Conte Gaudenzio Vallotta (1726-1795), che dovette abbattere buona parte del palazzo fatto costruire dal suo predecessore. Dopo la soppressione dei feudi da parte dei Francesi Napoleonici, il palazzo fu venduto al Sig. Canevazzi e passò poi alla Famiglia Casali. Castellarano subì gravi danni dall’incendio del 20 Luglio 1944, appiccato al paese, per ritorsione, delle truppe Tedesche: bruciarono molti edifici del centro storico tra cui il palazzo, che fu ricostruito intorno agli anni ’70.