Nel 1746 veniva loro concesso dal veneto senato di edificare un nuovo cimitero ed una cappella nelle vicinanze del loro castello di Sant’Andrea di Calisedo. Mentre tre anni prima il papa Benedetto XIV concedeva loro di erigere un’edicola sacra all’interno del palazzo padronale di Rovigno (l’attuale sede del civico museo):
 

Erano inoltre proprietari di oltre metà dell'Isola di Santa Caterina prospicente Rovigno. Per la legislazione veneta però i Califfi non appartenevano al Corpo dei Cittadini o Nobili di Rovigno, cosicchè ritroviamo nel 1771 il conte Giuseppe Califfi ricoprire, con Antonio Angelini qm Angelo, la carica di Sindico del Popolo in occasione del battesimo del figlio del Podestà Zorzi-Barozzi. Soltanto nel 1802 vennero aggregati tra i nobili di Rovigno dato che il conte Zanetto Califfi aveva fatto parte del Governo dei 18. Mentre con Nicolò risultavano tra i nobili confermati dall’Imperatore Francesco I dal 1816 al 1834. Anche i Califfi assunsero pertanto nel loro cognome il "de" nobiliare. Tre sono gli stemmi tuttora presenti ascrivibili a questa nobile famiglia: il primo è posto su di una vera di pozzo al civico n.ro 11 di via Andronella; il secondo, datato 1686, sulla casa in Piazza Grande, ora via Garzotto al n.ro 2; il terzo sulla loro casa padronale in Piazza della Riva ed attuale sede del Museo Comunale.

In tale edificio esistono varie targhe commemorative di soggiorni della famiglia imperiale nella casa dei conti Califfi:

Tutti gli stemmi presentano 2 leoni rampanti appoggiati ai lati di un albero (palma?).