Nel sec. XIV, i Malaspina riuscirono sempre più difficilmente a sottrarsi alle lotte politiche che vedevano, come principali esponenti, i Visconti di Milano ed i Papi d'Avignone e che avevano come posta la creazione di un'unità signorile in Lombardia. Essi erano ormai semplici pedine di un gioco ormai più grande di loro. La loro potenza venne, poi, ulteriormente compromessa da un'altra divisione patrimoniale.

Nel 1369 il Marchesato di Varzi fu smembrato ed il borgo perdette la prerogativa di capoluogo marchionale.

Intanto, nella seconda metà del sec. XIV, i Visconti, insediatisi ormai definitivamente al governo della Lombardia, vedevano con sospetto crescente le piccole signorie feudali minori, tanto più in posizioni di confine e quindi strategicamente importanti, come i feudi malaspiniani della Valle Stàffora.

Filippo Maria Visconti nel 1430 tolse un terzo del feudo di Varzi ai Malaspina attribuendolo, com'era solito fare, ad un suo fedele: Pietro Dal Verme. È questo un tratto caratteristico della politica viscontea, soprattutto nei confronti dei distretti feudali di confine.

Ai Visconti succedettero gli Sforza ed il Duca Galeazzo Maria confiscò, circa quarant'anni dopo, il terzo feudale dei Dal Verme e lo concedette a Sforza Cesarini Conte di Santa Fiora.

I Malaspina furono sempre più emarginati e nel 1604 cedettero i restanti due terzi del feudo, che così passò interamente nelle mani degli Sforza di Santa Fiora. Già nel 1545 essi avevano riottenuto il titolo di Marchesi di Varzi, che durerà fino all'estinzione della feudalità.

Intanto, nella seconda meta del sec. XVI iniziarono i lavori per la costruzione, all'interno delle mura, dell'attuale chiesa parrocchiale. Tuttavia, l'antica Pieve di S. Germano non fu abbandonata perché nella stessa si insediarono, su invito della comunità, i Cappuccini che ancora oggi vi hanno la loro sede.

Durante il periodo spagnolo prima e quello austriaco poi, Varzi fu sempre sede di una guarnigione militare, col compito precipuo di reprimere il fiorente contrabbando con la Repubblica di Genova.