La Fortaleza de Albornoz, también conocida como Castillo de Spoleto, fue construida a partir de 1359 en la cima de la colina de San Elías, en una posición elevada y dominante sobre la ciudad y el valle circundante. La construcción de este imponente edificio militar destinado a controlar la Vía Flaminia fue encargada por el Papa Alejandro VI, junto con muchas otras fortalezas similares, con el fin de restaurar el poder papal sobre los territorios de Italia central durante el cautiverio de Aviñón. El Papa, que vivía en Aviñón, envió a Spoleto al poderoso cardenal español Albornoz, que confió la dirección de las obras, terminadas en 1370, a Matteo di Giovannello de Gubbio, llamado el «Gattapone«.
Debido a su posición estratégica y a la grandeza del edificio, la Fortaleza de Albornoz se convirtió a lo largo de los siglos en la sede de importantes figuras como rectores del Ducado, gobernadores de la ciudad y legados papales. Según la tradición, la propia Lucrecia Borgia, hija de Alejandro VI, que la nombró regente del Ducado de Spoleto con sólo 19 años, se alojó dos veces en la Fortaleza: en 1499 durante tres meses y en 1502 para una breve parada en el camino que la llevó a Ferrara.
La estructura arquitectónica es de planta rectangular defendida por seis imponentes torres, la más grande y central de las cuales se llama «Torre del Espíritu«, quizás en referencia a la cruel hija del pontífice. En el interior de las murallas perimetrales hay dos patios: el Patio de las Armas, dedicado a la milicia armada, y el Patio de Honor, dedicado a los administradores y gobernadores, y decorado con una doble logia enteramente en terracota y un elegante pozo hexagonal. Entre los numerosos espacios interiores, cabe destacar el Salón de Honor, la sala más grande de todo el edificio, dedicada a ceremonias y banquetes, y decorada con frescos de los siglos XVI-XVII; y la Cámara Pinta (o Picta), también decorada con escenas caballerescas pintadas al fresco entre 1392 y 1416.
Desde 1817 hasta 1983 la fortaleza se convirtió en una prisión y perdió muchas de sus obras de arte. No fue hasta después del cierre de la prisión cuando esta fue sometida a un cuidadoso trabajo de restauración y mejora que condujo a la inauguración, en 2007, del Museo Nacional del Ducado. El museo está dividido en 15 salas históricas de la fortaleza que se reparten en dos plantas. La inferior presenta obras y materiales ordenados cronológicamente que cuentan la historia del territorio identificado con el nombre del Ducado de Spoleto en un período comprendido entre los siglos IV y XV d.C. La superior contiene numerosas esculturas y pinturas realizadas entre el románico y el renacimiento.