Selon G. Huet, le nouveau presbytère de Toussaints succède à celui qui est aménagé, rue Vasselot, dans l'ancien couvent de Carmes où il est aménagé en 1825 et dont le cadastre de 1844 donne un plan de masse. L'édifice actuel, construit en 1902 pour y installer une école dans le quartier de la Gare, accueillera finalement les Eudistes chassés de l'institution Saint-Martin en 1905, puis le presbytère en 1914. Les permis de construire conservés aux archives communales indiquent que le presbytère est agrandi d'une salle de réunion (aujourd'hui détruite) en 1927, puis d'un immeuble construit sur les plans de l'architecte Louis Chouinard en 1965 pour y aménager des salles paroissiales.