Der Palazzo Baglioni erhebt sich auf der Piazza della Repubblica, neben dem Rathaus; ursprünglich erstreckte er sich bis zur Via Seminario Vecchio und zur Via della Liberazione. Er enthält die frühere Festung Rocca Albornoziana, oder Cassero, die im Jahr 1358 auf Wunsch des Anführers des Herzogtums Spoleto, Filippo D’Antella, in einem Bereich errichtet wurde, auf dem sich früher das Oratorium Oratorio dei Raccomandati di Santa Maria della Misericordia befand. Die Festung war Teil des Befestigungsprojekts der Kirche, das der Papst wünschte und dem Kardinal Egidio Albornoz übertrug. Letzterer ließ ausgerechnet mitten in Italien zahlreiche Festungen in den bedeutendsten Städten errichten, um die Macht des Kirchenstaates zu zentralisieren und zu festigen.
Als mit Beginn der Herrschaft der Baglioni in Spello diese vermehrt in die Stadt zogen, gab Adriano Baglioni zwischen 1561 und 1564 Änderungen am Gebäude in Auftrag, um es zu einer Adelsresidenz zu machen: Nach einem Plan von Battaglia di Pietro und Filippo di Giacomo wurde so das Erscheinungsbild der Immobilie verändert und die Höhe des Männchens wurde verringert.
Andere Arbeiten wurden das gesamte 16. und 17. Jahrhundert hindurch wiederholt, da die Festung und der Palast als Residenz des apostolischen Gouverneurs, als Gefängnis und schließlich als Sitz des Priesterseminars von San Felice genutzt wurden; weitere Interventionen folgten nach dem schrecklichen Erdbeben von 1832. Leider ist angesichts der zahlreichen Verwandlungen und Veränderungen heute nur noch sehr wenig vom ursprünglichen Komplex übrig geblieben, und die Überreste sind sowohl in der Via Seminario Vecchio als auch in der Via della Liberazione zu sehen, während die Mauer aus dem 16. Jahrhundert, die die beiden Erhebungen des Bauwerks verband, völlig verloren gegangen ist.
Auch das Innere hat sich verändert, aber glücklicherweise sind einige Fresken und Dekorationen erhalten geblieben. Der interessanteste Raum ist sicherlich der des Gouverneurs im Erdgeschoss: Die Decke aus Kacheln, die mit geometrisch-floralen Motiven und mit dem Greif, dem Symbol von Perugia, verziert ist, erscheint wunderschön, zudem sind die Wände mit weiblichen Figuren, die den Balken halten, und einigen Ansichten des umbrischen Tals als Fresko gestaltet. Ursprung und Autor der Fresken sind nicht bekannt, aber es gibt Ähnlichkeiten zum Zyklus in der Sala degli Zuccari im Palazzo Comunale.