Dalla fine del XIII secolo Fossa inizia la sua espansione oltre le mura del castello, sviluppandosi in due fasi distinte: prima con un insediamento concentrico attorno al recinto fortificato, poi con una crescita lineare lungo la strada principale, arricchendosi di palazzi nobiliari e architetture civili di pregio.

Dalla fine del XIII secolo Fossa inizia ad espandersi oltre il castello fortificato in due fasi distinte. La prima fase si caratterizza per un insediamento concentrico attorno al recinto, con le tipiche caratteristiche dei borghi alto-medievali: stradine strette, percorsi tortuosi e terrazzamenti rocciosi. La seconda fase, quattro-cinquecentesca, si sviluppa invece linearmente lungo la strada principale del paese.

Durante questo periodo sorgono importanti esempi di architettura civile: la trecentesca Casa Torre dei Campione con la classica disposizione a piani, e la quattrocentesca Casa Masci, esempio di eleganza rinascimentale. I palazzi cinquecenteschi si distinguono per i pregiati portali in pietra decorati con il simbolo francescano di San Bernardino da Siena. I palazzi nobiliari Bonanni e Lazzaro testimoniano la ricchezza del borgo fino all'Ottocento.

Caratteristici di Fossa sono gli archi, nati dalla necessità di costruire in spazi ristretti. Questi elementi architettonici servivano come abitazioni, luoghi di lavoro e riparo dalle intemperie.

La Chiesa di Santa Maria Assunta, edificata nel 1200 e ampliata nel XV secolo, venne ricostruita dopo il terremoto del 1703. L'interno conserva un ricchissimo soffitto ligneo e due pregiate tele, tra cui un'Immacolata del Ciferri.

Il XX secolo porta anche a Fossa i drammi moderni. Durante il periodo fascista le mura si coprono di motti propagandistici, ancora oggi visibili. La Seconda Guerra Mondiale coinvolge il borgo, che per la sua posizione strategica diventa teatro di passaggi militari e episodi della Resistenza.