Las primeras noticias se remontan a 1178 y se refieren a una iglesia dedicada a San Rufino, que gozó de cierta consideración en la Edad Media, ya que el santo titular era uno de los patronos del municipio de Spello. La iglesia dependía de la abadía de San Silvestre de Collepino, perteneciente a la orden camaldulense, a principios del siglo XVI se convirtió en la sede de los Disciplinati de San Girolamo, procedentes de la iglesia de San Herculano. En 1564 pasó a formar parte de la propiedad de la iglesia de Santa Maria Mayor.
A finales del siglo XVI se iniciaron las obras de reorganización de la plaza y sobre ella se construyó otra iglesia, inicialmente dedicada a San Roque, que más tarde fue dedicada a San Felipe cuando llegaron los frailes de esta orden en 1640. Con el paso de los años la iglesia sufrió algunos cambios, hasta que fue destinada, en los años ochenta del siglo pasado, a la sede de la oficina de Correos. De la antigua iglesia de San Rufino sólo se pueden ver los muros perimetrales, en particular el muro derecho y el muro trasero, incorporados en el edificio de la escuela de primaria, y el muro izquierdo correspondiente al muro de los Baños Públicos, en cuyo interior se conservan las dos naves cubiertas por una bóveda de crucería apoyada sobre pilares. En la fachada de la actual oficina de Correos se conservan señales de las obras que condujeron a la construcción de San Felipe.