L’hôtel de Broc appartenait au comte de Broc également propriétaire du château du Pérennou en Plomelin. Edgar de Broc arrive à Quimper dans les années 1890 lorsqu’il épouse Marie de Carné héritière du Pérennou.
Monsieur Thomas, entrepreneur de maçonnerie au 12 rue de Brest demande en le 17 janvier 1900 "l'autorisation de reconstruire la maison de M. le comte de Broc récemment incendié dans la rue Royale au n°43". L'autorisation est autorisée le 28 janvier 1901.
En 1926, l'hôtel appartient à M. de Combourg, qui demande l'autorisation d'ouvrir une baie pour portillon dans le mur de clôture de sa propriété.
En 1946, le 41 rue Elie Fréron abrite la clinique Le Pape.
L'oeuvre de Charles Chaussepied est exposée en 1903 au Salon des artistes français. Dans un article consacré à l'architecture au salon de 1903, Louis Charles Boileau relate "M. Chaussepied nous a donné le croquis d’un hôtel de campagne construit à Quimper, sans doute en granit, avec des enduits de mortier pour les maçonneries de remplissage et des toitures en ardoise. Le terrain comportait des biais dont notre confrère s'est servi heureusement pour de bonnes dispositions d’ensemble, et dont il a tiré des effets pittoresques réussis, cependant d’une tenue fort simple. Les distributions intérieures sont bien conçues, les aménagements d’un goût distingué. Je remarque surtout une construction très étudiée, des formes françaises sues et un soin tout particulier des détails. M. Chaussepied est un artiste de talent et un praticien distingué."
En outre, la même année l'architecte finistérien Emile Rivoalen cite l'oeuvre de Charles Chaussepied dans un article intitulé "Société des Artistes français Architecture": "À Quimper-Corentin (« hôtel de M. le comte de B... »), M. Chaussepied fait de bonne architecture bretonne c'est-à-dire, cette sorte de Louis XIII un peu austère mais robuste et noble qu’autorise le granit, dur à la taille, et rendant peu d’effet au moulurage ou à la sculpture. L’auteur se rattrape, comme il convient en ce cas, par l’étude des bonnes masses de pavillon, par les lignes d’angle et de cordons plats, enfin par la ferronnerie que peuvent fournir de bons forgerons bretons."
architecte