Selon Paul Banéat, Olivet est le site d'implantation d'un ancien manoir ayant appartenu à la famille de Sévigné. Au 17e siècle, il devient la propriété des seigneurs du château du Gué. En 1809, il appartenait à Thomas, sous préfet de Vitré. Il ne subsiste actuellement aucune trace de ce manoir. Jusqu'au milieu du 19e siècle, ce lieu appartenait au territoire de la commune de Noyal sur Vilaine. Cependant, sur le cadastre de 1849 de Servon sur Vilaine, il est représenté puisque cette partie de la commune voisine avait été rattachée à la commune de Servon. A cette époque, le logis existait ainsi que les porcheries, la grange et le bâtiment couvert d'un toit à croupe, perpendiculaire à l'étable actuelle. Par ailleurs, il existait un four à l'entrée de la cour ainsi qu'un puits au sud-est. De plus, même si l'étable actuelle semble remonter aux années 1930, elle a remplacé un bâtiment plus ancien qui était situé au même endroit, comme l'indique le cadastre de 1849. Selon la tradition orale, cette ferme possédait environ 40 hectares au début du 20e siècle, ce qui en faisait une ferme très importante par rapport aux autres de la commune. La partie sud abritant le logis a été fortement remaniée, cependant, elle abrite, d'ouest en est, les vestiges d'un bâtiment, puis une ancienne étable abandonnée dans les années 1930, lors de la construction de la nouvelle, puis le logis possédant un plan en T renversé, un cellier et enfin un poulailler à l'extrémité est. Le plan en T renversé du logis peut-être une réminiscence de l'ancien manoir, en effet, ce type de plan était fréquent dans les manoirs, la partie arrière abritait dans ce cas la cuisine. Les bâtiments les plus anciens du lieu, c'est-à-dire, le bâtiment du sud abritant le logis ainsi que la partie couverte d'un toit à croupe au nord-est de l'étable peuvent remonter au 18e siècle. De plus, l'étable et la remise destinée à la fabrication du cidre semble dater du début du 20e siècle.