L'ancien château des seigneurs de Malestroit était bâti sur l'île de la Saudraie. Ruiné, il fut remplacé au XVe siècle par une chapelle dédiée à Notre-Dame de Toute-Joie ; la chapelle est mentionnée en 1602 dans un testament du prêtre de la Madeleine, Dom Guillaume Gorion, qui lui donne la moitié d’une maison, proche de la rivière.

Vers 1633, la communauté de la ville de Malestroit, le recteur de la paroisse et l’évêque de Vannes donnent leur consentement aux Augustins de la congrégation de Paris, qui souhaitaient s’établir près de la chapelle Notre-Dame. Un couvent est construit au sud de la chapelle à partir de 1634.

Diverses fondations et rentes furent données aux Augustins pour que soient célébrées des messes, avoir un enfeu dans chapelle… et ce jusqu’en 1790.

En 1791, le directoire du département du Morbihan ordonna la fermeture du couvent.

Les différents bâtiments, jardins et prés furent vendus dès le mois de mai de la même année.

(M. -D. Menant]