La maison sise au numéro 20 de la rue Colvestre a vraisemblablement été construite dans la seconde moitié du 16e siècle comme le montre l’analyse stylistique de son pan de bois. Côté jardin, un linteau de fenêtre porte le millésime 1729. Une boutique a été aménagé au rez-de-chaussée. La porte actuelle semble datable du 17e siècle.

Son histoire est liée à la maison voisine dite "Maison dite du duc Jean V" situé au numéro 22. En effet, selon les états de section du cadastre, les maisons - actuellement numéro 20 et numéro 22 – le jardin et la demeure (parcelle n° 250 et 251 du cadastre) forment un unique ensemble immobilier et appartiennent au même à Firmin Cadiau demeurant à Tréguier en 1835.

Émile Le Taillandier (avocat, juge suppléant puis maire de Lannion de 1876 à 1888) est propriétaire de la maison en 1877 ainsi que de la maison voisine située au numéro 22.

En raison de leur intérêt patrimonial, les façades et toitures de cette maison ont été inscrites au titre des Monuments historiques par arrêté du 10 mars 1964 (les maisons situées aux numéros 12 et 14 de la rue Colvestre ont également été protégées à la même date). A cette époque, la maison appartient à Jeanne Bougon, veuve de Allain Le Mée, née en 1901 et demeurant à Saint-Brieuc.

En 1966, un enduit à faux appareil couvrait le pan de bois comme le montre les photographies de Martine Garczynska et Thierry Prat pour les Monuments historiques.

En 2019, les maisons situées aux numéro 20 et 22 appartient à un seul et unique propriétaire.