On ne connaît pas la date de l’ancienne église de Saint-Gravé. Lors de l’enquête de l’an 11, elle est déclarée en bon état, tandis que l’enquête sur les édifices publics de 1811 fait apparaître que le pignon ouest a besoin d’être relevé.

En 1891, Le Méné y remarquait deux fenêtres ogivales et les restes d’une construction ancienne au sud de la nef (ossuaire ?) qu’il ne date pas.

Le 10 août 1881, l’inspection de l’église faite par l’architecte Maignan aboutit à la conclusion que l’église doit être reconstruite en raison de son état qui nécessiterait pour sa remise en état des dépenses équivalant à une reconstruction « tout en conservant un aspect fâcheux par suite de son peu d’élévation, de l’étroitesse de sa nef et de son insuffisance comme surface ».

En 1899, la reconstruction partielle de l’église paroissiale est décidée : plan et devis sont signés par les frères Le Diberder, architectes à Nantes. Le devis pour la nef et le transept s'élève à 35000 fr., et à 19900 fr. pour le clocher. Le conseil municipal propose que seuls nef et transept soient réalisés dans un premier temps, mais dans le plus bref délai. La somme de 35000 fr est donnée par le Général de Kerdrel, maire, le 12 août 1899. Il était précisé : « Cette construction sera faite en moellon de granite et en pierre de taille de granite pour l’extérieur, les contreforts,les fenêtres, les couronnements de gâbles, le clocher, et en pierre blanche de Lavoux et de Saint-Savinien pour les colonnes, les contournements, les nervures des voûtes et les encadrements des baies.»

Les travaux sont adjugés le 12 octobre 1899. Il est probable que sont remployées certaines parties des ouvertures : archivolte et fleuron ainsi qu’une partie des pilastres de l’élévation ouest, piédroits de certaines fenêtres ; aucune n’est réalisée en pierre blanche comme le précisait le devis.

Peut-être en raison de la loi de 1906 (séparation de l’Eglise et de l’Etat), il n’est plus fait mention dans les archives de travaux dans l’église. Or, à l’analyse, il semble que le chœur ancien, conservé dans sa partie proche du transept (on remarque dans le mur nord du chœur une porte en arc segmentaire bouchée qui pourrait remonter au 18e siècle) a été augmentée d’un chœur polygonal au début du 20e siècle ; le pan axial remploie un blason mi-parti en alliance couronné représentant les familles du Matz et de la Marzelière qui fait sans doute référence à René Du Matz et Gillone de la Marzelière, mariés dans la 1ère ½ du 17e siècle. Sous le blason de la Marzelière, armes non identifiées. Ce même blason est figuré dans la chapelle de la Bogerais.

De même, le clocher est reconstruit à l’extrémité du bras sud du transept. On remarque également des reprises dans le contrefort d’angle et la fenêtre de la chapelle nord-ouest, dans les contreforts d’angle de la façade ouest, en granite de taille industriel.

Un second blason écartelé aux armes non identifiées est inséré dans le pignon nord de la chapelle nord-ouest : ce blason aiderait à préciser la date de construction des parties conservées, chapelles nord et partie est du chœur, du 17e ou du 18e siècle : Gallot dans son rapport précise seulement qu’elles existent déjà, de même que la sacristie qui parait cependant dater du 19e siècle. Quant aux chapelles, elles ont été modernisées lors de la reconstruction de la nef par l’ajout de nouveaux contreforts et rampants, d’oculus identiques en pignon ainsi que de nouvelles baies, celles de la chapelle ouest sans doute contemporaines de la dernière campagne.

Les archives communales révèlent aussi qu'en 1902 est voté un budget pour l'acquisition du mobilier : maitre-autel, chaire, deux confessionnaux, sainte table, bancs et mobilier de sacristie. En 1929, l'église est électrifiée par l'entreprise nantaise Champroux.