Cet hôtel doit son nom à ce qu'il aurait accueilli trois duchesses de Bretagne après leur veuvage : Isabeau d'Écosse, femme de François Ier, Françoise d'Amboise, femme de Pierre II et Catherine de Luxembourg, femme d'Arthur III, comte de Richemont.
Il est en partie reconstruit à la fin du 17e siècle sur les bases de l'hôtel de Jean de la Rivière, chancelier de Bretagne en 1450, dont il subsiste le rez-de-chaussée sur rue et le soubassement (porte d'entrée en accolade, fenêtre à cavet et vestiges de la grille). Mitoyen côté ouest de l'hôtel des Monnaies ouvert sur la rue du même nom, mitoyenneté visible sur les anciens documents cadastraux, l'hôtel de Jean de la Rivière avait lui-même été reconstruit sur l'emplacement de l'hôtel de Camarec qui servit un temps de Chambre des Comptes. Des remaniements du 17e siècle témoignent l'escalier en demi hors-œuvre, et le pan de bois sur rue à l'exception des têtes de poutres et des entretoises qui sont sans doute du 15e siècle. Une aile de retour a été créée au 18e siècle, entrainant la réfection de tous les lambris du 1er étage. Par rapport au plan cadastral de 1844, on remarque l'adjonction d'un petit corps postérieur construit sur un jardin. Les cuisines se trouvaient à l'origine en sous-sol. L'hôtel a fait l'objet à la fin du 20e siècle de travaux importants, aboutissant à sa transformation en appartements.
