La ricca famiglia Rizzoni vantava beni e proprietà a Nogara già nel XVI secolo. L'influenza e il potere esercitato da questa famiglia permisero ai discendenti di Giacomo, ammesso in qualità di nobile al Consiglio Veronese del 1517, di aumentare sensibilmente le loro proprietà non solo a Nogara, dove possedevano un mulino, ma anche nei paesi limitrofi.

Gustavo Rizzoni, succeduto al fratello Benedetto, all'interno della propria corte fece erigere, nel 1679, una cappella privata descritta come "un oratorio in contrà Piazza sotto il titolo della Beata Vergine a San Giuseppe presso la sua casa a mezzo miglio dalla parrocchiale".

L'edificio, ristrutturato di recente, ha una facciata con doppio timpano, uno più piccolo appena sopra la porta d'entrata e uno più grande alla sommità dell'edificio. Come in altri esempi di oratori della zona, ai lati della porta d'ingresso impreziosita da un portale in marmo, sono visibili due grandi finestre che assicurano luminosità all'interno. Sopra la porta d'entrata fa bella mostra di sé un'altra finestra sormontata da un timpano semicircolare. L'interno dell'oratorio è sobrio ed elegante.