L'immeuble correspond à l'emplacement du grand hôtel de Villayer construit au 17e siècle en bordure d'enceinte par Jean-Jacques de Villayer, conseiller au parlement, sur un terrain qu'il achète avec deux autres personnes. La construction n'est pas terminée quand il décède et l'immeuble est loué par sa veuve à l'architecte Olivier Delourme qui y installe son cabinet et son appartement personnel d'après Pierre Thomas-Lacroix. Le bien est saisi à la Révolution et divisé en trois lots pour en faciliter la vente : une grande maison qui correspond à cet édifice avec une petite maison en bois et une cour estimées 6000 livres, une cour avec un hangar estimés 2000 livres et une petite maison avec une partie de cour estimées 3400 livres.
Le plan du procès-verbal d'estimation de la grande et petite maison Villayer dressé à cette occasion nous montre l'emprise de tout l'hôtel qui s'étend jusqu'au 32, 34 rue Thiers avec l'emplacement du grand hôtel et ses dépendances en G, E, F sur le plan.
L'hôtel appartient à la communauté de ville avant d'être acheté en l'An IV par François Guyot, marchand et Pierre Cato, boulanger ; ce dernier reprend vraisemblablement le four à pain visible dans le sous-sol de l'aile en retour mur est ; la boulangerie était approvisionnée par une descente de cave depuis la cour postérieure qui comprenait aussi une dépendance visible sur le plan du procès-verbal et transformée en logement aujourd'hui. L'édifice a été agrandi sur la cour postérieure par un second corps en appentis après cette date. Les rez-de-chaussées ont été aménagés en boutiques. La façade a été désenduite et très modifiée au rez-de-chaussée.
