Fu edificata verso la fine del XI secolo da Riccardo Siniscalco, primo feudatario di Gioia, ed intitolata a S. Pietro. Nel XII secolo assunse il nome di Santa Maria Maggiore, che conserva tuttora.
Il primo arciprete di cui si ha notizia, fu don Cataldo, nel 1196.
In occasione del terribile terremoto del 1732, i gioiesi invocarono la protezione di S. Filippo Neri, la città non subì alcun danno.
Nel 1764 la chiesa fu attentata in seguito ad una sommossa organizzata da Giannantonio Monte; si salvarono : un antico sarcofago poi adibito a lavabo, due leoni a mezzo rilievo che si possono ammirare ai lati della porta d’ingresso, ed un “Ecce Homo” del XV secolo, opera di Giovanni De Rocha, oggi murato alla sinistra del terzo altare di destra entrando in chiesa. L’opera di ricostruzione fu affidata all’architetto Pasquale Margolfo.
Nel 1844, San Filippo Neri fu eletto a nuovo patrono di Gioia, invece di Santa Sofia, e le feste in suo onore duravano dal 22 aprile al 2 maggio.
Nella notte fra il 16 ed il 17 dicembre del 1857, la chiesa subì ingenti danni in seguito ad un terribile terremoto.
Tra il 1937 ed il 1940 la chiesa fu abbellita con pitture e decorazioni varie durante l’arcipretura di don Luigi Tosco.
Il 23 febbraio del 1942 crollarono il campanile la sottostante cappella di S. Filippo Neri e la sacrestia, seppellendo sotto le macerie il canonico vice parroco don Giovanni Prisciantelli.
Il 6 novembre del 1949 succedeva all’arcipretura monsignor don Franco Di Maggio il quale, oltre a restaurare la chiesa con candelabri di Boemia, volle la costruzione del nuovo campanile in cemento armato dotato di campane comandate da un sistema elettrico.
Nella cripta, era sepolto il corpo del principe Carlo III De’ Mari, oggi, a perpendicolo di questa tomba, sull’arco della cappella sovrastante, si può ancora ammirare lo stemma della nobile famiglia.
Nell’arcipretura, a Monsignor Di Maggio, sono succeduti Monsignor Domenico Padovano, oggi vescovo della diocesi di Mola-Conversano, don Mimì Ciavarella e don Franco Fanizza.
L'attuale Arciprete è don Tonino Posa.