Altro motivo che induce a pensare che le prime abitazioni siano sorte nella parte bassa è dato dal ritrovamento di locali seppelliti sotto l'attuale piano strada.

Uno di questi emerse alcuni decenni scorsi in via del Rosino. Il proprietario, Mario Antoniazzi, durante l'esecuzione di lavori edili presso la propria abitazione, scoprì che il muro di fondazione aveva una profondità superiore al normale. Incuriosito, continuò a far scavare ed arrivò ad una profondità tale da permettergli di poter estrarre il rimanente terreno e creare una nuova cantinetta sotto il piano strada.

Un altro importante ritrovamento avvenne quando, nel 1985, fu  scavata volutamente una cantina in Via del Mercato. Nell'occasione si scoprì che, sotto l'attuale piano strada, vi era già un locale adibito a stalla, trovata ancora completa di porta d'entrata, mangiatoia e finestrella per espellere il letame.
Scavando in tale locale vennero trovati cinque strati di materiale alluvionale diverso e, ad ogni strato, vi era sovrapposto un pavimento in ciottoli o mattoni. Questo fà pensare che dopo ogni alluvione, venisse costruito un nuovo pavimento sopra lo strato alluvionale. Alzando la quota di calpestio, gli abitanti speravano probabilmente di evitare ulteriori inondazioni. Cosa che non avvenne in quanto queste si ripeterono frequentemente, tanto che, nei secoli XII - XIII, era stata depositata una tale quantità di materiale da alzare di tre metri il livello dell'insediamento originale.

Da allora, il livello non si è pressoché più alzato. Il motivo potrebbe dipendere dal fatto che, essendosi ampliato l'alveo causa il materiale alluvionale sopraccitato, l'acqua del torrente si sarebbe distribuita su un letto più ampio, attenuando così ogni possibile danno.

In ogni modo, questo ha comportato che, fino alla seconda metà del XIX secolo, il torrente passasse quasi tangente alle abitazioni.

Dopo il 1164, quando l'imperatore Barbarossa concesse ai Malaspina quasi tutti i territori che dall'inizio delle colline di Rivanazzano si spingevano a sud fino ad arrivare nell'attuale parte settentrionale della Toscana, la Lunigiana, i Malaspina si preoccuparono di rafforzare i confini del loro territorio. È per questo motivo, oltre a quello commerciale, che iniziarono a scendere dalla protetta ma scomoda Oramala per insediarsi a Varzi.

Come avveniva abitualmente in quel tempo, le residenze dei potenti non erano costruite a ridosso dei nuclei abitati esistenti, ma poco distanti da essi ed in posizione dominante. Perciò scelsero la collinetta che successivamente sarebbe diventata la sede del castello.

Ma questa fu la prima residenza in Varzi della potente famiglia? Non è certo.
Sta di fatto che sul portale dell'ingresso principale del castello e sopra una finestra della torre vi è tuttora scolpito lo spino secco che rappresenta lo stemma originale della famiglia. Pertanto la costruzione dovrebbe essere antecedente al 1221 perché in tale data avvenne la scissione della famiglia con la creazione dei due stemmi: lo spino secco e lo spino fiorito. E Oramala e Varzi adottarono quest'ultimo.
Si può senz'altro dedurre che dovrebbe essere anteriore anche al 1220 perché, in quell'anno, dopo la conferma dei feudi fatta dall'imperatore Federico II, venne aggiunto allo stemma l'aquila bicipite, simbolo della casa imperiale.