Sous la période normande, l’alleu de la Poterie fut possédé par des seigneurs dont le nom fut ajouté à celui de la localité, et on a dit, depuis cette époque, la Poterie Mathieu (on prétend cependant que la Poterie a été appelée Saint Pierre de Véronne).
            Le premier de ces seigneurs que l’on connaisse vivait dans la seconde moitié du XIIè siècle, du temps de Robert, fils de Waleran. Il est appelé Mathieu de la Poterie, et employé comme témoin dans la donation faite, à l’abbaye de Préaux, de l’ermitage de la forêt de Brotonne. C’est sans doute lui que nous retrouvons encore dans le Feoda Normanniae (Coutume de Normandie ou droit coutumier Normand), pour le service d’un chevalier. Son fief était membre du comité de Montfort.
            Au quatorzième siècle, la seigneurie de la Poterie appartenait en dot à Richard de Livet. Ce personnage est connu pour avoir tué en duel le seigneur de l’épinay. Enfermé dans les prisons de l’Evêque de Paris, parce que le duel n’avait pas été autorisé par la cour, il obtint sa grâce le 24 août 1389. Richard de Livet était issu d’une des plus anciennes maisons de Normandie, et l’un de ses ancêtres était devenu seigneur, par son mariage avec Jeanne de Gaillon.
            Georges de Livet, fils de Richard, fut prisonnier des anglais : sa rançon fut payée par sa femme et par Richard de Malortie, en 1451. Il avait épousé Marguerite de la Brière, dame de Condé et de la Tillaie. Leur fils, Richard, seigneur de Condé, Bourneville etc… se maria à Gilette de Barville, fille de Jean, qui lui laissa les seigneuries de Frênes et d’Asnières. Le dernier seigneur et patron de la Poterie, du nom de Livet, a été marquis de Barville et est mort en 1830.
            Dans un acte de 1679, la Poterie est citée comme une dépendance du marquisat d’Annebaut, alors possédé par les Portier.
            En 1724, François-Marc de Châlons, baron de Cretot et Saint Samson, était le seigneur de la Poterie. Les livet  redevinrent seigneurs  et patrons de cette paroisse par le mariage de L.F de Livet, major du régiment de Carney, infanterie, et gouverneur du fort de DAGSBOURG dans la Lorraine allemande, avec Bonne de Châlon de Cretot, héritière en partie de Claude d’Annebaut et de la marquise de Saluces.
            Il ne reste plus que les Mottes du manoir seigneurial de la Poterie. Jadis, les vassaux étaient obligés de les entretenir, et d’en battre les eaux dans certaines circonstances.
Les rares maisons de la Vallée sont à plusieurs centaines de mètres. Pourtant le lieu-dit s’appelle « le village ». Au moyen âge, le lieu était en effet, très animé : le plan terrier de 1376 montre l’existence d’une motte féodale à coté de l’église, d’un petit et d’un grand moulin, d’un vivier ainsi que de deux jardins entre le vivier et l’église.
            Sur le plan napoléonien, la motte présente encore quelques murs (en 1920-1925 s’élevait encore une porte). Trois familles habitaient près de l’église, trois autres petites fermes entouraient le presbytère et un petit café était installé en face de l’église, le long d’un chemin assez fréquenté à l’époque. La population de la commune s’élevait à plus de 800 habitants au début du XIXè siècle, elle est passée à 420 un siècle après, il y a dix ans il en restait 149.
            Les activité agricoles et artisanales étaient très développées : petits éleveurs, tisserands à domicile, meunier… En rebond de plateau, la veine d’argile était exploitée par des potiers d’où le nom donné à la commune : La Poterie-Mathieu. Mathieu était le premier seigneur du lieu qui participa au siège d’Antioche et à la prise de Jérusalem en 1099. Après la famille Mathieu de la Poterie, ce furent les familles Guillaume Martel puis Richard II et III de Livet, seigneurs du lieu jusqu’en 1584. Ce dernier tua en duel le seigneur de l’Epinay, le duel n’étant pas autorisé par la Cour il fut incarcéré à Paris et gracié en août 1589
            L’agriculture s’est modernisée sur le plateau et a presque disparu dans la vallée. L’artisanat s’est éteint progressivement au XIXè siècle sous l’effet de l’industrialisation de la Vallée de la Risle toute proche, les artisans et petits paysans partant s’embaucher dans les usines. 
            A partir de la fin du XIXè siècle, c’est la route départementale Lieurey-Pont-Audemer traversant le plateau qui va structurer l’espace : la mairie et l’école sont construites le long de cette route, à plus d’un kilomètre de l’église. De même, les habitants permanents vont préférer s’installer à proximité de la route pour la facilité de l’accès, laissant la vallée aux  quelques résidents secondaires qui recherchent le calme.
            On retrouve cette configuration : église – ancien village dans la vallée et mairie – village nouveau sur le plateau, dans les communes voisines de Saint Siméon, Saint Martin-Saint  Firmin.

Heureusement pour les promeneurs, la motte féodale de la Poterie Mathieu est toujours bien visible dans un pré jouxtant l’église. Il en existe d’ailleurs une seconde sur la colline dans les bois à quelques centaines de mètres.

L’église, sous le patronage de Saint Pierre, date du XIIè siècle, en style pseudo gothique tout en conservant deux étroites fenêtres cintrées, deux contreforts en pierre et l’arc triomphal en tiers-point.