Wann die Kirche von Patersberg entstanden ist, und wer sie erbaut hat, ist gänzlich unbekannt. Sie soll im früheren Mittelalter eine Wallfahrtskirche gewesen sein. Sicher ist, dass die Kirche ursprünglich dem heiligen Pankratius geweiht war. Die Kirche ist wohl in drei Bauzeiten entstanden. Der Turm ist frühgotisch, verrät noch romanisches Raumempfinden und mag in seiner heutigen Gestalt um 1200 entstanden sein. Ein Rätsel bleiben drei romanische Säulen an den oberen Kirchturmfenstern; sie sind bestimmt älter. Die übrige Kirche ist romanisch. Das Schiff wird aufs 12. Jahrhundert geschätzt, während der Chor vielleicht schon 1100 oder bereits 900 entstand. Vielleicht hat die Kirche auch einmal Verteidigungszwecken gedient. Der Turm zeigt heute noch mehrere Schießscharten. Auch das Schiff hat früher mehr kleine Fenster (oder mindestens Nischen) gehabt als heute. Das untere Geschoß des Turmes ist durch ein Kreuzgewölbe gedeckt.