La seigneurie de Talhouët est signalée dès le 15e siècle dans les montres et réformations de la noblesse appartenant la famille Le Digouédec qui conserve le château jusqu'en 1675. Il est probable que le château ait été reconstruit à la fin du 17e siècle, d'après la forme figurant sur le plan cadastral de 1818. Il est reconstruit sur le même emplacement, mais dans une orientation différrente, vers 1860, au moment de son rachat par le comte de Richemont, dans le style du 18e siècle, inspiré par l'oeuvre de l'architecte Jacques V Gabriel à Lorient..