Ob die Erbauung der Kirche mit dem gleichnamigen Edelsitz in Zusammenhang gebracht werden kann, ist nicht zu beweisen, kann jedoch angenommen werden. Darauf weist u. a. der Umstand hin, dass sie dem Hl. Jakob d. Ä., dem Patron der Kreuzfahrer, geweiht ist.
Die Kirche ist ein spätgotischer Bau. Während das Presbyterium gotisch blieb, wurde das Kirchenschiff unter Pfarrer Moß 1644 in frühbarocker Form umgestaltet. Der zierliche Hochaltar stammt aus der Zeit um 1660 und ersetzte den gotischen Altar. Die Aufsatzfiguren, Muttergottes mit Kind und der Hl. Jakob stammen vom alten Altar und sind in ihrer Entstehung in das 15. Jahrhundert zu datieren, während die Reliquienschreine der ersten Hälfte des 18. Jahrhunderts zuzuordnen sind. Die St. Florian-Statue sowie die restliche Kirchenausstattung entstammen der Barock- und Rokokozeit.
Die Kirche hat ein 19 Meter hohes Türmchen mit einer Kuppel (vor dem 18. Jahrhundert war es ein Spitztürmchen). Wie hunderte anderer Kirchen, war auch die Kirche in Unteraffnang in josephinischer Zeit zum Abbruch bestimmt worden. Wahrscheinlich haben aber die Ortsbewohner die Kirche gekauft und dadurch vor dem Abbruch gerettet.
Früher gab es in der Kirche auch eine Kanzel, sie wurde jedoch um 1880 herausgerissen. Pfarrer Kreuzer schreibt 1929, dass "heute die Trümmer davon noch herum liegen".
An der Westseite der Kirche dürfte früher einmal ein Friedhof gewesen sein. Dieser musste aber aus sehr früher Zeit stammen, da die Kirche, zumindest seit Beginn der Matrikenführung im Jahre 1624, kein Begräbnisrecht besessen hat. Im Turm hing eine sehr alte Glocke ohne Inschrift. Als 1896 die Pfarrkirche von Altenhof einen Turm bekam, wurden von dort zwei weitere Glocken erworben. Die erste Glocke mit einem Gewicht von 150 kg war 1826 in Salzburg gegossen worden. die Altenhofer verlangten dafür 120 Gulden, während sie die zweite 93 kg schwere Glocke gratis abgaben. Diese Glocke war im Jahr 1874 in Braunau gegossen worden.
Bei der Renovierung im Jahr 1929 kamen zwei Wandbilder, Christi Geburt und Auferstehung zum Vorschein. Sie stammen aus dem Jahr 1766. Auch wurde bei dieser Renovierung das gotische Portal aus Sandstein freigelegt.