Nommé le Moustoer dans un acte de 1398, le village prend le nom de Moustoir Saint-Efflam en 1752. La chapelle ancienne dont le plan avec un bras de transept nord apparaît sur le plan cadastral de 1837 n'est pas connue par d'autres documents. Elle a été reconstruite en 1895 à l'initiative du recteur Julé. Les fermes qui composent le hameau, dont deux ont disparu depuis 1837 (parcelle 820 et 817), sont construites entre le 18e siècle et le milieu du 19e siècle. Au nord, de la chapelle, la ferme (parcelle 180) est construite au 18e siècle dans sa partie ouest ; cependant, une partie de l'édifice pourrait remonter au début du 17e siècle, autour de la fenêtre à traverse ; cette partie est reprise au 19e siècle, puis allongée vers l'est au milieu du 19e siècle, cette reprise entrainant probablement la disparition de l'ancien mur pignon portant la cheminée du premier logis 17e. En ruines en 1968, elle a été restaurée vers 2000 avec suppression de la porte haute en plein cintre (disparue) et ajout d'une fenêtre dans la partie est. Le pigeonnier courant le long de la façade a été conservé. La ferme parcelle 75 est construite vers 1850 (date illisible portée sur le linteau de la porte) ; elle remploie en partie les pierres anciennes de la ferme détruite à son sud immédiat (plan de 1837, parcelle 817) ; sa toiture en chaume encore visible en 1968 a été remplacée par du fibro-ciment. Quant à la ferme sud, datée 1827, elle conserve des éléments plus anciens, mais ses ouvertures ont été fortement remaniées au milieu du 20e siècle.