Un aveu du 9 mars 1558, rendu par Nicolas-Thomas-Claude de Tréméreuc, sieur de Léhen, de Guytrel (en Plurien) et du Chastelier, à Guy de Rieulx, seigneur de Châteauneuf, constitue la première description que nous connaissons du manoir : "la maison et manoir seigneurial du lieu dit le Chastelier, escuryes et autres logis, courts et déportz, coulombier, jardrins, verger et vallée sur et à l'environ de la mer et les bouais de haulte fustaye et taillis, garennes et droit de pescherie à la mer en l'endroit du lieu dit du Chastelier, avecq le mestairye et les terres et communs et dépendants, le tout en la paroisse de la Chapelle Saint-Samson, contenantes ensemble par fons environ vingt journaulx de terre sentretenantes pour la plupart et joignantes de plusieurs endroitz à la rivière de Rance, d'aultres endroitz à un estang d'un vieil moulin appellé le moulin de Rochefort..."

Le Châtelier se transmet, sans doute par alliance, aux de Follenay, dont une des héritières épouse un sieur Poullain. On retrouve mention du manoir le 30 juin 1735, lors de sa vente à Louis Baudran, en même temps que les châteaux voisins de la Herviais et de Rochefort. Sa fille, Marie-Anne Baudran, épouse en 1773 François-René White, seigneur d'Albyville, et gentilhomme de St-Jouan-des-Guérets. Ce dernier, par cette alliance, hérite alors du château, et fait construire la chapelle en 1780. C'est également sans doute lui qui procède à l'agrandissement des jardins en terrasse et de la promenade dominant la Rance. Il cherche ainsi à faire de ce château un lieu de plaisir et de repos.

Son grand père Guillaume White, irlandais d'origine, sera l'un des grands armateurs et négociants malouin. Il fut reconnu par lettres patentes de juin 1718 "vray et naturel sujet du Roy".

Le fils de François-René White et de Marie-Anne Baudran, Louis-Marie White d'Albyville, né à Saint-Malo en 1778, poursuit la tradition familiale du commerce maritime. Durant les quelques mois que dure la chouannerie de 1815, il est chef de la 6ème cohorte de la légion de Dinan, commandée par le colonel du Breil de Pontbriand.

Le Châtelier reste alors dans la famille White d'Albyville, et ce jusqu'au milieu des années 1990, lorsqu'il est racheté par les propriétaires actuels.