Kurz gesagt

Document AI hat sich deutlich über klassische Zeichenerkennung hinausentwickelt. Moderne Modelle können visuelle Dokumente als Ganzes verarbeiten und Layout, Text sowie Teile ihrer Struktur in maschinenlesbare Repräsentationen überführen.

Für IncluLearn.AI ist das eine wichtige Grundlage – aber nicht das Endziel. Ein wissenschaftliches PDF in Markup zu rekonstruieren bedeutet noch nicht, die fachliche Semantik eines eingebetteten Schaltplans, UML-Diagramms oder komplexen Plots verstanden zu haben.

Pix2Struct: visuelle Struktur als Text rekonstruieren

Pix2Struct wurde 2023 bei ICML veröffentlicht. Das Modell wird unter anderem darauf vortrainiert, maskierte Screenshots von Webseiten in vereinfachtes HTML zurückzuführen.

Die Grundidee ist bemerkenswert: Ein visuelles Dokument wird nicht nur als Pixelmenge behandelt. Seine sichtbare Struktur wird in eine textuelle, maschinenlesbare Repräsentation übersetzt.

Für IncluLearn.AI ist das besonders für die Dokumentebene relevant: Layout, Abschnitte und visuell situierte Inhalte können gemeinsam betrachtet werden.

Nougat: wissenschaftliche PDFs in Markup überführen

Nougat wurde 2024 bei ICLR veröffentlicht und adressiert wissenschaftliche Dokumente. Das Modell verarbeitet PDF-Seiten bildbasiert und erzeugt Markup, einschließlich mathematischer Inhalte.

Damit trifft Nougat einen wichtigen Teil unseres Problems: Wissenschaftliche und technische PDFs verlieren in ihrer visuellen Enddarstellung häufig genau die semantische Struktur, die für maschinelle Weiterverarbeitung und Accessibility gebraucht wird.

Auch hier gilt jedoch: Markup-Rekonstruktion eines Dokuments ist nicht dasselbe wie vollständiges Verständnis aller darin eingebetteten Fachartefakte.

Die Grenze allgemeiner Document AI

Ein Dokument kann enthalten:

  • normalen Fließtext,
  • Überschriften und Listen,
  • Tabellen,
  • mathematische Formeln,
  • Diagramme,
  • Schaltungen,
  • Plots,
  • Aufgaben mit Beziehungen zwischen Text und Grafik.

Ein allgemeines Modell muss daher nicht jedes Artefakt bis in seine Fachsemantik selbst lösen.

Für IncluLearn.AI ist eine modulare Pipeline plausibler:

Quelldokument → Dokumentstruktur → Artefaktklassifikation → spezialisierte semantische Analyse → Validierung → menschlicher Review → freigegebene Semantik

So könnte beispielsweise ein allgemeines Verfahren erkennen, dass ein bestimmter Bereich ein UML-Diagramm ist. Die eigentliche Rekonstruktion von Klassen, Attributen und Relationen übernimmt anschließend ein auf diese Domäne zugeschnittener Analyzer.

Warum die Zwischenrepräsentation wichtig ist

Wenn ein Modell direkt aus einem PDF eine fertige Langbeschreibung, Audiofassung oder taktile Vorlage erzeugt, wird es schwierig festzustellen, wo ein fachlicher Fehler entstanden ist.

Eine explizite semantische Zwischenrepräsentation schafft dagegen einen prüfbaren Punkt:

  • Was wurde im Dokument erkannt?
  • Welche Objekte und Relationen wurden extrahiert?
  • Welche Stellen sind unsicher?
  • Was wurde menschlich korrigiert?
  • Welche Ausgaben wurden daraus erzeugt?

Das ist für Accessibility besonders wichtig, weil plausible, aber falsche Aussagen fachliche Inhalte verfälschen können.

Modelle sollen austauschbar bleiben

Die Entwicklung in Document AI und multimodalen Modellen ist schnell. Ein heute leistungsfähiges Modell kann in kurzer Zeit ersetzt werden.

IncluLearn.AI sollte deshalb möglichst wenig dauerhaften Projektwert an eine einzelne Modellarchitektur binden. Dauerhaft wertvoller sind:

  • geprüfte Referenzdaten,
  • neutrale semantische Schemata,
  • reproduzierbare Evaluation,
  • domänenspezifische Regeln,
  • menschliche Reviewprozesse,
  • zugängliche Ausgabeformen.

Konsequenz für IncluLearn.AI

Document AI ist für uns kein Konkurrent zum Semantic-first-Ansatz, sondern eine Eingangsstufe.

Die Forschungsfrage verschiebt sich damit von „Kann das Modell den Text aus dem PDF lesen?“ zu „Kann die gesamte Pipeline fachliche Struktur so rekonstruieren und prüfen, dass daraus verlässlich mehrere barrierefreie Repräsentationen entstehen?“