Il castello nel corso dei secoli ha subito diverse modifiche: una delle più appariscenti è il muro del lato l'est di via Odetti che termina immediatamente in fianco all'entrata del lato nord del castello, sacrificando tale entrata. Segno evidente che il lato ad est dovrebbe essere più recente di quello a nord.
Nel secolo scorso, nel cortile interno sono stati trovate tracce di muri preesistenti ed il fondo del cortile è formato (in parte) da calcinacci derivati da muri demoliti.
L'edificio che si affaccia sull'attuale Piazza del Municipio è stato costruito nel 1770, mentre prima di questo vi era un muro di cinta alto 5 o 6 braccia (metri 3 o 3,5).

La svolta più importante per Varzi, anche in campo urbanistico, avvenne nel 1275, quando, con l'elezione a sede di marchesato con un territorio che da Bagnaria andava fino nell'alta val Trebbia, Borbera e Curone, passava gradatamente da piccolo nucleo a borgo di una certa importanza.
Da notare, però, che l'aumento delle costruzioni necessarie per l'avvenuto aumento della popolazione avvenne nelle vicinanze del castello; invece, il nucleo originale vicino allo Stàffora venne ampliato solo in minima parte.
In effetti, il nuovo borgo venne impostato vicino alle abitazioni preesistenti tanto da far pensare ad un insediamento completamente nuovo. E questo è dimostrato dal tangibile razionale criterio di costruzione, come si può rilevare dalla regolarità e dalla chiarezza dell'impianto urbanistico.

Il criterio adottato dal progettista fu quello di tracciare il perimetro delle mura, inglobandovi il castello ed alcune aree da destinare agli orti (per la sopravvivenza in caso di assedio), di lasciare alcune aree di utilizzo pubblico e dividere le rimanenti in lotti edificabili.

Relativamente le strade, le divise in: principale, secondarie e di servizio.
Sulla principale che collegava le due porte (Soprana e Sottana), l'attuale Via di Dentro, in parte fiancheggiata da portici, si affacciavano botteghe ed ingressi. Qui si svolgeva il mercato ed era il luogo dove venivano letti gli editti e sentenziate le pubbliche punizioni.
Le secondarie, generalmente ortogonali alle prime, dovevano servire da collegamento interno ed avevano ugualmente un buon numero di ingressi (le attuali Via dei Rossi e Via A. Giacobone).
Le stradine di servizio dovevano avere, invece, la funzione di accesso alle stalle ed ai depositi sul retro dei lotti.
La non perfetta ortogonalità degli incroci di queste ultime (via dietro ai Bianchi non è allineata con Vicolo del Gobbone) è stata voluta per tagliare il flusso del vento che d'inverno spira gelido dall'alta valle Stàffora verso a pianura. Questa sottigliezza dimostra ancora una volta che il borgo è stato costruito con un progetto ben definito.