L’édifice monumental qui domine et caractérise le port encore aujourd’hui, avec ses arcades imposantes ou « voûtes », fut construit à partir de 1719 en utilisant principalement la main d’œuvre des forçats. Sa typologie est caractéristique des bâtiments destinés à abriter et accueillir à la fois hommes et marchandises en transit, tout autant vers des destinations à terre que pour des liaisons maritimes, plus fréquentes, comme c’est le rôle d’un port ; mais les « voûtes » de Villefranche sont d’une grande qualité architecturale. En outre les deux longues nefs pouvaient constituer un chantier naval organisé pour un travail à la chaîne, soit parallèlement, soit perpendiculairement à la mer. Les magasins situés en arrière, creusés dans la montagne, jusqu’à une profondeur de 50 mètres, étaient particulièrement adaptés à l’entreposage des mats des navires ou des rames des galères. Les documents révèlent que dans la première arcade jaillissait une source d’eau douce alors que la seconde était destinée à une chapelle.

A partir de 1771, sur la double nef couverte des voûtes fut construite une caserne massive à quatre étages pour loger les soldats du roi de Sardaigne, trop nombreux pour l’espace dont ils disposaient dans la citadelle. Les divers noms, « Caserne Nicolas », « Caserne Dubois », qui figurent toujours sur cet édifice, rappellent qu’il a hébergé un bataillon de Chasseurs Alpins à l’époque française.

Après  la démolition de la  caserne, en 1942, Eugène Beaudouin, architecte en chef des Bâtiments publics et Palais nationaux, créa au-dessus des voûtes primitives épargnées, en 1958, un jardin suspendu aujourd'hui à l'abandon.