Selon Guillotin de Corson, la fondation du couvent de Visitandines est autorisée par la Communauté de ville en 1628. En 1631, les religieuses font l'acquisition des terrains de Touriel, appartenant aux carmélites. La chapelle, dédiée à saint Joseph, est commencée en 1659 et bénite le 19 mars 1662. Durant la période révolutionnaire, on y entrepose les saisies révolutionnaires ; elle est ensuite vendue et transformée en magasin. Selon Paul Banéat, en 1793, un hôpital est installé dans la chapelle, dont il donne une description. L'édifice, partiellement détruit par un incendie en 1900, présente un plan en croix latine avec une abside et un transept à pans coupés et une façade occidentale à ordres superposés. Les bâtiments claustraux (doc. 1), formés de quatre corps de logis disposés autour d'un cloître, à l'arrière de l'église, comptaient deux étages carrés. A l'est se situaient le réfectoire et la cuisine. Au sud, à l'emplacement actuel de la Banque de France, se trouvaient la salle de communauté, l'infirmerie, le pensionnat et le noviciat. L'auteur signale également la présence d'un petit oratoire, au sud de l'église, détruit en 1785. Les religieuses rentrent en possession de leur couvent en 1815 mais doivent reconstruire de nouveaux bâtiments, à l'est (voir couvent de la Visitation, rue Hoche). Un plan du couvent dressé en 1634 est conservé aux archives départementales (série H), ainsi qu'un document qui donne la liste des nombreuses maisons construites ou acquises par les visitandines dans les faubourgs Saint-Laurent et Saint-Melaine, entre 1630 et 1653. En 1675, les religieuses doivent céder des terrains pour l'élargissement de la contrescarpe. Le cadastre de 1842 (doc. 3) figure les vestiges subsistants des bâtiments claustraux, au nord de la chapelle. Les nouveaux bâtiments du couvent sont visibles à l'est, à l'emplacement d'anciens jardins. Selon Alain-François Le Sacher, l'édifice est acquis en 1874 par les soeurs de l'Immaculée-Conception de Saint-Méen-le-Grand. L'architecte communal Jean-Baptiste Martenot dessine les plans des extensions réalisées quelques années plus tard. Les permis de construire conservés aux archives communales signalent la construction de nouvelles salles de classe, rue Saint-Melaine, sur les plans de l'architecte Charles Rallé, en 1954, et un agrandissement (laboratoire et salle de cour) en 1963, sur les plans des architectes Yves Perrin et Georges Martin.