Fa parte di un vasto complesso costituito in origine da due diversi nuclei, il convento di San Bernardino, fondato nel 1455 e comunemente chiamato di San Giorgio, e l'ospedale di Fra' Matteo, che prese il nome dal suo primo governatore, fondato tra il 1320 e il 1330. La chiesa, originariamente assai modesta, fu ampliata a partire dal 1498 su disegno di Ventura Vitoni; al suo interno era conservato un Crocefisso della morte, denominazione che fu poi estesa alla chiesa e all'intero ospedale. Nel 1530 il complesso passò ai padri Apostolini e dal 1744 vi ha trovato spazio un conservatorio femminile, retto dalle Pericolanti, dette Crocefissine in relazione al Crocefisso miracoloso.