L'ancien château, édifice du 16e siècle, est détruit par un incendie vers 1820 ; ses vestiges se situent dans le parc, au sud de la nouvelle construction et de ses dépendances. Le domaine passe au 19e siècle à la famille Martin ; en 1861, Alphonse Martin crée les 1ers établissements ostréicoles de Crac'h. La construction d'un nouvel édifice s'échelonne entre 1840 et 1870 et remploie de nombreux éléments provenant de l'ancien édifice, tels les lucarnes, les escaliers, ou encore des boiseries (grand salon). Chapelle fin 19e avec porte en accolade.