Château construit entre 1180 et 1231 pour Eudon II, vicomte de Porhoët. Les vestiges conservés au sud-ouest datent probablement de cette période: une poterne et une baie en plein cintre, des fragments de murs et les bases de tours semi-circulaires ainsi que des vestiges à l'intérieur même de l'enceinte, dont un souterrain débouchant dans les fossés au pied de l'une des tours.

Donjon octogonal construit à la fin du 14e siècle pour Olivier de Clisson, seigneur de la Chèze depuis 1370 par acquêt de la châtellenie de Josselin. Au cours du 15e siècle, le château de la Chèze est la principale résidence des Rohan qui y installent leur chambre des comptes. Grands travaux de renforcement de l'enceinte au 15e siècle pour les Rohan. En 1488, l'armée ducale, commandée par le maréchal de Rieux, investit le château. Après 1495, Jean II de Rohan aménage le château en résidence, en même temps qu' il reconstruit le château de Josselin. Vers 1628, sur les ordres de Richelieu, démantèlement des tours comme à Josselin. En 1743, autorisation de dépecer le château au profit de la fabrique de Loudéac. Vers 1857, destruction quasi totale des vestiges.