Fatto costruire da Guidobaldo II della Rovere su progetto di Girolamo Genga, l'edificio venne ampliato nei decenni successivi dal figlio Francesco Maria II. L'ampliamento determinò l'asimmetrica posizione del portale che risulta spostato nella parte sinistra del palazzo. Nato come luogo per l'accoglienza dei duchi in occasione delle loro visite alla città, conserva al piano nobile uno straordinario soffitto decorato da Taddeo Zuccari. Al centro del soffitto compare lo stemma di Guidobaldo II riportante i diversi titoli di cui godeva. Trasformato in epoche successive prima in deposito per l'immagazzinaggio delle merci, poi in albergo è stato recentemente acquisito dal Comune di Senigallia che ha provveduto a farlo restaurare.