Selon Guillotin de Corson, le couvent de minimes, fondé en 1619 par Gilles Camart, est construit entre 1622 et 1624. Sa chapelle, dédiée à saint Louis, était le lieu de culte des membres de la Communauté de ville. Il sera détruit à la fin du XVIIIe siècle. La communauté des Soeurs de Saint-Thomas de Villeneuve s'installe rue Saint-Louis, en 1825, et fait construire un couvent comprenant un noviciat, une maison de repos, un pensionnat, un ouvroir et une école charitable, dans les jardins de l'ancien couvent. L´édifice visible sur le plan Hévin (1685) est composé de bâtiments conventuels disposés sur les quatre côtés du cloître, à l´ouest de la chapelle de plan allongé. Le cadastre de 1842 figure des bâtiments juxtaposés en alignement, en retrait d´une cour et d´une avant cour, ouvrant rue Saint-Louis. Un vaste jardin s´étend au nord de la parcelle. Les arrêtés de voirie conservés aux archives communales signalent la reconstruction du bâtiment principal, en 1869, par l'entrepreneur rennais Huchet. Les permis de construire donnent le détail des travaux réalisés au 20e siècle. Une salle de réunion permettant d'accueillir la Protection de la Jeune Fille est construite en 1932, par l'entrepreneur Badault, à l´ouest de la cour sud. L'architecte Armand Frigault dessine les plans d'une extension réalisée en 1934 (salle de lecture, réfectoire et office au rez-de-chaussée, surmontés de 3 étages de dortoirs), puis d'un réfectoire construit en 1938. En 1970, l'édifice est transformé en clinique et l'architecte Louis Pommereuil dessine les plans d'une extension sur la cour ouest (bâtiment appuyé sur celui qu'avait construit Frigault en 1934), et d'une conciergerie placée au niveau de la nouvelle entrée, aménagée rue de Dinan.