De 1800 à 1944, la préfecture maritime de Brest est située rue de Siam, dans l’ancien hôtel Saint-Pierre (propriété de la marine depuis 1752). Le bâtiment est détruit à l’issue de la Seconde Guerre Mondiale. De 1945 à 1953, la préfecture maritime est installée dans l’hôpital Morvan.

De 1950 à 1953, c’est dans l’enceinte du château fort de Brest, transférée à la marine en 1945 et libérée de ses casernes, qu’est construite la nouvelle préfecture maritime par l'architecte Pierre-Jean Guth (1909-2001). Le bâtiment abrite le bureau du préfet maritime de l’Atlantique et son administration.

Le préfet maritime est le représentant de l’État en mer : il coordonne l'action des administrations et la mise en œuvre de leurs moyens en mer. Il est également commandant en chef pour l'Atlantique (CECLANT).

A l’intérieur du bâtiment, la galerie desservant la "salle du conseil des directeurs" abrite les portraits des intendants de marine, commandants du ports et préfets maritimes de Brest. Joseph Caffarelli est le premier préfet maritime de Brest (en poste de 1800 à 1810).

Le préfet maritime dispose d’une résidence dans l’enceinte du château dans le Parc-au-Duc, à l’emplacement de l’ancien sémaphore.