Même si un moulin est déjà mentionné à Fresnay sur le premier cadastre de la commune achevé en 1828, il ne s'agit pas du bâtiment existant actuellement. En effet, ce moulin date de la seconde moitié du 19e siècle, plus précisément de 1872 ; il a probablement remplacé un moulin plus ancien, il subsiste d'ailleurs les vestiges d'un bâtiment à l'est. En 1739, le meunier de Fresnay était Julien Durand. Le premier moulin construit à cet endroit datait peut-être du début du 18e siècle. Il a subi une transformation en 1872 par l'adjonction du bâtiment actuel. La minoterie resta un moulin à meules jusqu'en 1918, ensuite, elle devient une minoterie à cylindres. La minoterie a été exploitée par Jean-Louis Allain, maire de la commune de 1878 à 1881.