La ferme est composée de deux bâtiments, un corps d'étables accolé d'une grange en bois et un corps isolé d'habitation. Le logis a été remanié dans la 2ème moitié du 19e siècle. Une ancienne porte à claveaux datable du 17e siècle est encore visible bien qu'emmurée. Les étables semblent également antérieures au 19e siècle. Le toponyme la Haute Rivière tire son nom de l'ancien étang voisin alimenté par le ruisseau venant du bourg du Pertre.