La chiesa della confraternita di N. S. Assunta sorge ai piedi di una collinetta e poggia, col suo lato settentrionale, sulla medioevale cinta muraria della città, che, proseguendo, comprende gli apprezzabili resti della primitiva chiesa di S. Ambrogio e del castello Aleramico dei Marchesi Del Bosco e di Ponzone, già signori di Varazze. Sull'antica chiesetta che vi sorgeva, venne costruito l'Oratorio con la sua prima denominazione di Santa Maria di Castello, che unificata con la confraternita di Santa Maria in Bethlem, è attestata dagli antichi statuti di Varazze del 26 novembre del 1345. Dal 1601 prende il titolo di Nostra Signora Assunta.
Si entra attraverso un bel cancello in ferro battuto del 1830 e percorrendo un bel vialetto delimitato da verdi siepi si raggiunge lo spiazzo antistante la bella e semplice facciata della chiesa. All'interno, ad unica navata, troviamo nel Sancta Sanctorum un bell'altare in marmo; come pala centrale una pregevole tela del 1600 "Assunzione di Maria"; in nicchie due antiche statue lignee: "La Vergine in Gloria" ed il "Beato Jacopo da Varagine". Nei pressi dell'altare si ammira la bellissima statua lignea della Madonna Assunta, assisa tra le nubi e circondata da una schiera di angeli festanti, pregevole opera dello scultore Anton Maria Maragliano (1664-1749). È questa la macchina processionale che ogni anno impreziosisce la processione del 15 agosto. Alle pareti, in cornici di stucco e fregi, sei tele del 1600 raffiguranti alcuni degli apostoli; ha antichi scranni lignei dei confratelli e un'importante organo dei Fratelli Serassi del 1700, posto sopra una bella cantoria lignea. Ha inoltre due artistici Crocifissi processionali, entrambi del 1800.
Antica casaccia dei contadini, ha per scopi principali il promuovere tra i confratelli e consorelle una vita cristiana con la pratica fedele dei doveri religiosi e con l'esercizio collettivo di pratiche particolari di pietà e carità. La Confraternita collabora con la Parrocchia Collegiata di S. Ambrogio alle principali funzioni religiose che si susseguono durante l'anno; organizza, oltre alla Festa di N. S. Assunta il 15 agosto, una Giornata Eucaristica di Adorazione al SS. Sacramento, la prima domenica di dicembre; mette a disposizione i locali dell'Oratorio per la sosta dei defunti, qualora ne venga fatta richiesta.
Attualmente la Confraternita ha incrementato la sua regolare attività, perseguendo un percorso di recupero delle opere custodite nel suo secolare Oratorio, anche attraverso manifestazioni a carattere culturale. Conta circa 120 tra confratelli e consorelle; è diretta e amministrata da un Consiglio Direttivo formato da nove membri regolarmente eletti e aderisce al Priorato delle Confraternite della Diocesi di Savona e Noli.