Ab dem Ende des 13. Jahrhunderts kaufte die entstehende Gemeinde von Assisi drei Gebäude, die sich im südlichen Bereich der Piazza Maggiore, heute Piazza del Comune genannt, um sie zusammenzulegen und einen einzigen, großen Palazzo daraus zu machen, der der Öffentlichkeit zugänglich war und die wichtigsten institutionellen Organe zur Führung des Ortes enthielt. Der Palazzo dei Priori ist heute ein eleganter Komplex aus Gebäuden in weißem Ziegel, errichtet nach dem mittelalterlichen architektonischen Stil Assisis und in der Mitte offen mit einem Bogen, durch den die Hauptader des historischen Zentrums verläuft: die Via dell’arco dei Priori. Diese verläuft von der Piazza nach unten ins Tal und führt zur Porta del Mojano auf der alten Straße nach Bettona. Der Name des Palazzo leitet sich von seinen Bewohnern ab, die ihn ab den 30er-Jahren des 14. Jahrhunderts bewohnten. Die Priori waren die Vertreter der Zünfte der Künstler und Handwerker – entspricht den heutigen Verbänden, die jedoch viel einflussreicher sind – und ihr Gericht befand sich der Beletage des Gebäudes. Wie aufgrund der heutigen Gliederung des Gebäudes zu vermuten ist, befand sich im Erdgeschoss eine Galerie, in der ein Bereich Geschäften gewidmet war, die an Handwerker und Händler vermietet wurden. Die Mieteinnahmen waren wiederum notwendig, um die sehr hohen Erhaltungskosten für den Palazzo sowie die Lebenskosten der Bewohner finanzieren zu können. Letztere nahmen auf niemanden Rücksicht, um diese Kosten tragen zu können. Im hinteren Bereich des Palazzo, im Erdgeschoss, auf dem stützenden „Schuh“, der zur Verstärkung des Gebäudes dient, befinden sich weitere bogenförmige Tore, die den Toren an der Hauptfassade ähnlich, jedoch kleiner und unauffälliger sind. Hier, im verstecktesten Bereich der „Rückseite der Geschäfte“, wurde 1341 das Bordell der Stadt errichtet, das gut 20 Jahre später in den Palazzo Nuovo unterhalb das wunderschöne Gemälde Volta Pinta, das im 16. Jahrhundert mit raffinierten Grotesken verziert wurde.
Im Jahr 1442 bestürmte der vom verfeindeten Perugia bezahlte Niccolò Piccinino mit seinem Heer aus 20.000 Mann Assisi. Er gelangte anhand einer Lücke im Wassersystem der Stadt nach Assisi, legte es in Schutt und Asche und ließ dabei auch Frauen und Kinder nicht außen vor. Der Palazzo dei Priori erlebte kein gutes Schicksal und wurde schwer beschädigt, jedoch wurde er auf Wunsch von Papst Sixtus IV. und der Kardinäle Orsini und Savelli schnell wieder restauriert. Ein Gedenkstein oberhalb des Arco dei Priori dient als Erinnerung daran. Im Zuge der Restaurierung wurde der Palazzo erweitert und umfasst rechts außen auch den Monte di Pietà und die Residenz des apostolischen Herrschers, der direkt vom Papst entsendet wurde, um mehr Kontrolle über die Gegend der verfeindeten und rebellischen Ständte Perugia und Assisi zu haben.
Die Welfenzinnen, die auf dem Dach eines Gebäudes des Komplexes sowie auf dem gegenüberliegenden Palazzo del Capitano del Popolo und auf der Torre Civica zu sehen sind, wurden später hinzugefügt und gehen nicht auf die mittelalterliche Ära des Palazzo zurück. Sie wurden während des Faschismus im Rahmen einer großen Renovierung der Piazza errichtet, die anlässlich des siebenhundersten Jahrestates des Todes von hl. Franziskus stattfand.
Im Inneren des Palazzo dei Priori, der heute die Büros der Stadtverwaltung beherbergt, sind noch die Sala del Consiglio und die Sala degli Stemmi erhalten, die in der zweiten Hälfte des 19. Jahrhunderts errichtet wurden, als Assisi dem Königreich Italien angeschlossen wurde. Die Fresken und die Einrichtung stammen von Alessandro und Carlo Venzani, bekannte Künstler aus der Region.