Palazzo Baglioni sorge in piazza della Repubblica, accanto al palazzo Comunale di Spello; in origine si estendeva fino a Via Seminario Vecchio e Via della Liberazione. Ingloba la preesistente Rocca Albornoziana, o Cassero, che fu costruita nel 1358 per volontà del rettore del Ducato di Spoleto, Filippo D’Antella, nell’area prima occupata dall’Oratorio dei Raccomandati di Santa Maria della Misericordia. La rocca rientrava nel progetto di fortificazioni delle terre della Chiesa, fortemente voluto dal papa e affidato al cardinale Egidio Albornoz, il quale, proprio in Italia centrale, diede il via alla costruzione di numerosissime roccheforti nelle città più importanti, al fine di centralizzare e consolidare il potere dello Stato pontificio.
Quando, con l’inizio del dominio dei Baglioni a Spello, questi si trasferirono in città, Adriano Baglioni fece intraprendere, tra il 1561 e il 1564, lavori di modifica dell’edificio per trasformarlo in residenza nobiliare: su progetto di Battaglia di Pietro e Filippo di Giacomo fu così mutato l’aspetto del fabbricato e in particolare, l’altezza del maschio fu abbassata.
Altri lavori si ripeterono per tutto il XVI e il XVII secolo, poiché la rocca e il palazzo furono adibiti a dimora del governatore apostolico, prigione e infine sede del seminario San Felice; ulteriori interventi si susseguirono all’indomani del terribile terremoto del 1832. Purtroppo, alla luce delle numerose mutazioni e rimaneggiamenti, oggi rimane ben poco del complesso originario e i resti sono visibili sia in Via Seminario Vecchio, che in Via della Liberazione, mentre si è totalmente perduto il muro cinquecentesco che collegava i due prospetti della struttura.
Anche l’interno ha subito variazioni, ma fortunatamente rimangono alcuni affreschi e decorazioni. La sala sicuramente più interessante è quella del Governatore, al piano terra: molto bello il soffitto in formelle decorate con motivi geometrico-floreali e con il grifo, simbolo di Perugia, e poi le pareti affrescate con figure femminili reggi-trave e alcune vedute della Valle Umbra. Non si conosce la datazione e l’autore degli affreschi, ma si individuano somiglianze con il ciclo della Sala degli Zuccari nel Palazzo Comunale.