Selon G. Huet, l'école de la Tour-d'Auvergne ouverte en 1881 dans l'ancien cercle militaire mis à sa disposition par le Dr Regnault. Les terrains sont acquis en 1885. Trois classes sont construites en 1895, une maison et une chapelle l'année suivante. La maison d'habitation permet de loger les frères qui enseignent dans l'école de la rue du Manège. L'ensemble est bénit en 1896 par Mgr Labouré. L'école est agrandie d'un patronage comprenant une salle des fêtes, construite en 1897 et une chapelle dédiée à la Sainte Famille, agrandies en 1900 de salles d'étude et de dessin et d'un préau servant de salle de gymnastique. Le patronage fait l'acquisition de prairies, rue Leguen-de-Kérangal, pour y aménager un stade et des pistes d'athlétisme. L'établissement fermé en 1904 rouvre ses portes l'année suivante, avec une autorisation municipale. En 1936, une partie des élèves rejoint la nouvelle école Saint-Joseph, construite dans le quartier de Villeneuve. Les bombardements de 1944 détruisent une partie de l'école et du patronnage mitoyen, construit à l'est. L'établissement scolaire est alors transféré rue de la Santé, dans l'ancien hospice des Incurables. Les archives communales conservent les plans de plusieurs phases de travaux. Une salle de patronage est construite en 1896 par l'entrepreneur Charles Rallé, agrandie d'une extension, en 1898 puis d'un logement en 1899, également construit par l'entrepreneur. Une salle de gymnastique est construite, en 1935, sur les plans de l'architecte Louis Chouinard, qui est également l'auteur de la transformation de l'ancienne salle de patronage en salle de cinéma (construction d'une tribune et d'une cabine pour l'opérateur), réalisés en 1933, par l'entrepreneur Richier. Le descriptif joint à la demande de permis de construire indique que la salle de cinéma dispose de 435 places en parterre et 177 places dans la corbeille. Elle est surélevée en 1938 et la façade sur le boulevard est reconstruite en 1947. L'architecte Louis Chouinard est également l'auteur des plans de la chapelle (1950) et d'une nouvelle salle de sport, construite en 1968.