Un corps de garde est figuré sur le cadastre parcellaire de 1828 pointe de La Croix. A proximité immédiate se trouve un signal - figuré par un mât de pavillon avec pavillon bleu - ayant permis l’établissement du cadastre (parcelle n° 222). A cette époque, la pointe de La Croix - actuel quartier du port - n’est pas construite à l’exception d’une petite maison (parcelle n° 204). On y trouve des parcelles agricoles : une grande pâture (parcelle n° 205), de la lande (parcelle n° 206) puis des terres labourables au fur et à mesure que l’on remonte vers le bourg de Carantec.

Propriété de l'Administration des douanes, le corps de garde est passé en 1978 dans le patrimoine de la commune de Carantec (entre 1828 et 1978, le corps de garde a pu être modifié voire reconstruit). Il est notamment loué par le peintre Robert Priser (1943-2018).

Vendu en 2018 par la commune, le corps de garde dit "maison des douaniers" a été rasé par ses nouveaux propriétaires.