Située sur l'ancienne ligne de chemin de fer liant Crozon au Fret, la gare du Fret a été construite sur les quais, selon le même modèle architectural d'inspiration régionaliste que les gares de Plomodiern, Saint-Nic, Crozon, Tal ar Groas, Telgruc et Camaret. Si la construction de l'édifice est réalisée entre 1923 et 1925, les plans ont été conçus en 1914 par Julien Polti, architecte des chemins de fer de l'Etat. La portion de ligne qui va de Crozon jusqu'aux quais du Fret mesurait 3, 587 kilomètres, elle servait, entre autre, au chargement des coquilles Saint-Jacques et au transport des passagers venant ou allant à Brest par bateau. Cet embranchement ferme dès 1946, le train y est alors remplacé par un service d'autocar. Le bâtiment abrite actuellement un centre de vacances de la SNCF. La petite annexe qui abritait la lampisterie et les latrines a disparu.