L’edificio che ospita il Museo presenta una struttura complessa e articolata, risultato dei numerosi interventi succedutisi nel tempo. Eretto come residenza dei Canonici della Cattedrale di San Lorenzo nella seconda metà del XII secolo, accanto ad un preesistente palatium vescovile, in un area oggetto di insediamenti già in età romana, conobbe i primi interventi intorno alla metà del XVI secolo, su iniziativa del Canonico Bartolomeo Perino. Di questa fase resta testimonianza nelle incorniciature in ardesia delle porte del loggiato superiore. Al 1653 risalgono la sopraelevazione di due piani e la conseguente sostituzione degli aerei loggiato romanici degli ambulacri con arcate più ampie e massicce, sorrette da robusti pilastri. 
Altri interventi di minore entità sono documentati nel corso del Settecento, secolo che vede anche la realizzazione degli affreschi del loggiato superiore nei quali sono celebrati i Fasti del Capitolo dei Canonici con la raffigurazione dei loro possedimenti, e i ritratti dei due pontefici – Innocenzo IV e Innocenzo VIII – che del Capitolo avevano fatto parte.
Il lento processo di degrado avviatosi nel XIX secolo culmina con l’abbandono da parte dei Canonici e la vendita al Comune di Genova dell’intero immobile, nel 1923.
Solo nel 1986, grazie ai fondi delle Celebrazioni Colombiane, viene avviato il restauro dell’intero complesso, curato dalla Soprintendenza per i Beni Ambientali e Architettonici della Liguria, in collaborazione con la Soprintendenza per i Beni Artistici Storici e con la Soprintendenza Archeologica della Liguria.