Gros immeuble de rapport construit sur le site d'un premier château appuyé sur le mur d'enceinte romain, appartenant aux ducs de Bretagne et reconstruit pour l'évêque Charles de Rosmadec en 1654, avant d'être vendu et détruit en 1863, lors du percement de la rue Billault. Il est édifié plus précisément sur l'emplacement du bastion de terre aménagé au 16e siècle par la ville pour renforcer son enceinte devant la porte Notre-Dame. Sur le cadastre de 1844, le côté nord du bastion voit la construction de plusieurs maisons bordant la rue ainsi que la réalisation d'un jardin sur terrasse pour l'évêché. En 1866, l'ensemble de l'évêché est acquis par le comte Hippolyte de La Ferrière qui démolit les édifices existants en 1867. Les matrices cadastrales indiquent en 1869 la revente par ce dernier des parcelles au sieur Jean-Baptiste Tharreau, entrepreneur, installé rue des Tribunaux. Les matrices indiquent pour lui deux campagnes de construction d'après l'annotation "construction nouvelle" figurant dans le folio concerné. La première en 1874 pour les parcelles 1640, 1644, 1645, 1646 et la seconde en 1879 pour les parcelles 1641, 1642, 1643. En 1882, l'immeuble passe entre les mains d'un certain François Perio avant d'être revendu la même année à Frédéric Delory, négociant de Lorient. L'architecte Joseph Caubert de Cléry dresse en 1912 des relevés intérieurs du second et du troisième étage de l'immeuble pour Louise-Adèle Delory. Ces appartements sont loués au journal Le Progrès, et au directeur de la Poste. D'après l'enseigne ci-jointe, les locaux du rez-de-chaussée sont tous dévolus au magasin "Au Progrès" avant la construction de l'immeuble proprement dit et dont monsieur Henri Chevreau est le directeur. II est dénommé pendant la seconde Guerre mondiale "l'hôtel des Postes" et abrite le central téléphonique des américains. Les aménagements successifs des locaux commerciaux ont fait disparaître les dispositions d'origine du rez-de-chaussée de l'immeuble.

On observe des vestiges de l'ancien palais épiscopal au niveau du rez-de-chaussée et du couloir d'accès à l'ascenseur vouté en pierre de taille de calcaire, côté cour de l'immeuble.