Le prime notizie risalgono al 1178 e riguardano una chiesa intitolata a San Rufino che godette di una certa considerazione in età medievale, in quanto il santo titolare era uno dei patroni del Comune di Spello. La chiesa dipendeva dall’abbazia di San Silvestro di Collepino, appartenente all’ordine dei Camaldolesi; all’inizio del XVI secolo diventò la sede dei Disciplinati di San Girolamo, i quali giungevano dalla chiesa di Sant’Ercolano. Nel 1564 entrò nelle proprietà della chiesa di Santa Maria Maggiore.
Alla fine del XVI secolo furono intrapresi lavori di riordinamento della piazza e vi fu costruita sopra un’altra chiesa, dedicata inizialmente a San Rocco, che fu poi intitolata a San Filippo quando arrivarono i frati di tale ordine nel 1640. Negli anni la chiesa subì alcune modifiche, fino ad essere destinata, negli anni Ottanta del secolo scorso, a sede delle Poste. Dell’antica chiesa di San Rufino possiamo vedere ormai solamente le mura perimetrali, in particolare quello di destra e la parete di fondo, inglobati nel fabbricato delle Scuole Medie, e quello di sinistra corrispondente al muro dei Bagni pubblici; all’interno sono ancora visibili le due navate coperte da una volta a crociera poggiante su pilastri. Segni dei lavori che condussero alla costruzione di San Filippo, permangono sulla facciata dell’attuale Ufficio Postale.