Die ersten Zeugnisse stammen aus dem Jahr 1178 und berichten von einer dem Heiligen Rufino geweihten Kirche, die im Mittelalter eine gewisse Beachtung fand, da der namensgebende Heilige einer der Schutzheiligen der Gemeinde Spello war. Die Kirche gehörte der Abtei San Silvestro di Collepino an, die wiederum zum Orden der Kamaldulenser gehörte; Anfang des 16. Jahrhunderts wurde sie zum Sitz der Disciplinati di San Girolamo, die aus der Kirche Sant’Ercolano stammten. Im Jahr 1564 gelangte sie in den Besitz der Kirche Santa Maria Maggiore.
Am Ende des 16. Jahrhunderts wurden die Arbeiten zur Umgestaltung der Piazza in Angriff genommen und eine weitere Kirche darüber errichtet, die zunächst dem heiligen Rocco geweiht war und erst später, als die Brüder dieses Ordens 1640 eintrafen, dem heiligen Philippus geweiht wurde. Im Laufe der Jahre erfuhr die Kirche einige Veränderungen, bis sie in den achtziger Jahren des letzten Jahrhunderts als Postamt genutzt wurde. Von der alten Kirche San Rufino sind heute nur noch die Außenmauern zu sehen, insbesondere die rechte und die hintere Wand, die in das Gebäude der Mittelschule integriert sind, und die linke, die der Wand des öffentlichen Schwimmbades entspricht; im Inneren sind noch die beiden Schiffe zu sehen, die von einem auf Pfeilern stehenden Kreuzgewölbe bedeckt sind. An der Fassade des heutigen Postamtes sind noch Spuren der Arbeiten zum Bau von San Filippo zu sehen.