Le village de Saint-Rivalain s'est structuré principalement au sud et au sud-est de la chapelle. Une partie des maisons des 16e et 17e siècles dessinée sur le cadastre ancien de 1828 subsiste, parfois très remaniée. Deux maisons sont reconstruites au début du 20e siècle sur l'emplacement d'anciens logis, en remployant les pierres. Avec le tracé de la route départementale Bieuzy-Saint-Barthélémy, le village se densifie à partir de la seconde moitié du 19e siècle. En effet, la route traverse alors Saint-Rivalain et génère de nombreuses constructions sur son passage, agrandissant sensiblement la taille du village.