D'après le rentier du domaine ducal 1455-1458, l'endroit est occupé au Moyen Age par une maison qui appartient à Perrot Lorfebvre. Cette maison, contemporaine de Château Gaillard et qui n'a pas laissé de vestiges est sans doute remplacée par le petit hôtel particulier signalé dans la réformation en 1677 comme appartenant à Damien Bonfils, sieur de la Rivière, édifice signalé avec une cour au derrière et une écurie. De même la réformation pour le Château Gaillard (en mitoyenneté est du bâtiment) confirme bien la propriété de cet hôtel par Damien Bonfils.
La visite de l'édifice ainsi que le plan cadastral de 1844 nous permettent de mieux comprendre la distribution de l'hôtel qui correspond à un corps arrière relié au corps sur rue par un passage situé entre deux murs de refends formant un retrait façade ouest ; l'ensemble est desservi par un escalier sous appentis greffé en façade nord du corps arrière. La cour arrière signalée sur le plan cadastral de 1844 et bordée vers le nord par un autre bâtiment correspondant sans doute aux écuries n'est pas couverte à l'époque. La présence autrefois d'un conduit de latrines en saillie signalé par les propriétaires actuels, angle nord-est de la cage d'escalier, est confirmée par les vestiges de ce conduit au niveau du rez-de-chaussée dans la cour qui est couverte aujourd'hui et au niveau de la cage d'escalier qui a conservé à chaque étage mur nord la porte d'accès à ces latrines.
Les pièces avec les planchers à la française et les cheminées correspondent bien au 17e siècle. Cependant, il n'est pas certain que l'escalier aujourd'hui emprunté était celui qui desservait ces pièces à l'époque. En 1687, le partage en deux "lotties" égales de cet hôtel entre Hierosme de Quintin, seigneur de Saint-Denac et Gratien Josset, sieur de Kervillart, héritier de Damien Bonfils, décrit l'édifice de la façon suivante : une cave au-dessous de la chambre basse de devant sur la rue au niveau du rez-de-chaussée, surmontée de deux chambres au-dessus et d'un grenier ; au-derrière une grande cave, une cuisine sur cour surmontée de deux chambres et d'un grenier. Cette division de propriété de la maison au niveau des étages (rez-de-chaussée avec premier étage et une partie de cave puis deuxième étage avec greniers et autre partie de cave) explique peut-être la situation de l'escalier actuel sous appentis en façade nord de l'hôtel qui n'est pas l'escalier d'origine et qui aurait été rejeté à cet endroit pour faciliter l'indépendance des deux logements. Le coup de sabre en façade sur la cour intérieure du corps de l'escalier, le type de balustres utilisées plutôt de la fin du 17e siècle-debut 18e siècle (même si certaines d'entre elles ont été remplacées), les ouvertures sur palier plus tardives ainsi que le mur est de la cage où l'on distingue d'anciennes ouvertures bouchées renforcent cette hypothèse. Le passage situé entre le corps sur rue et le corps arrière est peut-être l'emplacement de l'escalier d'origine, modifié en tout cas par la suite. Le mur extérieur correspondant à ce passage façade ouest de l'hôtel donnant sur la cour intérieure de l'hôtel du Faouédic montre de l'intérieur qu'il a été visiblement plaqué en retrait de la façade pour fermer ce passage. La place de l'escalier d'origine reste à confirmer.
En 1952, la façade sur rue de l'hôtel menaçant ruine est reprise d'après les plans de l'architecte Charron pour monsieur Jean Calvez. Cette reprise fait sans doute l'objet de travaux importants qui expliquent le peu d'éléments anciens retrouvés au niveau du rez-de-chaussée pour cette partie élevée cependant sur une cave voutée ancienne.
Perrot Lorfebvre est signalé dans le rentier du domaine ducal de 1455-1458 à cet endroit.