Le lieu noble de Kermorvan est attesté dès 1427 dans les montre et réformation de la noblesse, comme possession de Henry Le Brun. Il passe ensuite à la famille Rimaison pendant la première moitié du 17e siècle, puis à celle des Langle. Louis de Langle était conseiller au Parlement de Bretagne de 1642 à 1671. C'est probablement lui qui est à l'origine de la reconstruction du château dont il ne subsiste, aujourd'hui, que quelques vestiges. En 1826, le château est vendu à Guillaume Olivier Poignant, armateur et maire de Saint-Cast, qui devient maire de Baud de 1836 à 1847. Détruit à la fin du 19e siècle, le château conserve toutefois quelques parties constituantes : à l'ouest, la première cour est bordée d'un fossé remblayé et d'un mur d'enceinte avec deux tourelles et un portail d'entrée ; à l'est, la deuxième cour est encore bordée d'un corps de ferme et d'un passage couvert en retour d'équerre, contemporains du château. La base du puits qui s'y trouve date également du 17e siècle. L'ancienne chapelle, aujourd'hui disparue, figure sur le cadastre ancien sous le numéro de parcelle 140, construite contre le mur d'enceinte ouest. Une de ses fenêtres en arc brisé subsiste dans le mur ainsi que sa cloche remployée sur le portail d'entrée. Toujours dans l'enceinte de la première cour, le bâtiment à usage de cellier est en place. Au nord de l'ancien château, contre le mur d'enclos, il ne reste que des vestiges de l'orangerie. Vers le milieu du 19e siècle une remise à charrette est construite contre le mur d'enceinte ouest en remplacement d'un colombier qui figure sur le cadastre de 1829. Dans le premier quart du 20e siècle, une maison est édifiée à l'emplacement du château par le maître d'oeuvre Hervé Quelven. Le moulin à eau de Kermorvan est toujours en place, à 1 kilomètre environ au nord du château, en limite communale.