Kurz gesagt
Diagramm-KI macht deutliche Fortschritte. Besonders bei Charts zeigen Forschungsarbeiten, dass ein Modell nicht zwingend direkt auf eine Frage antworten muss: Es kann die visuelle Darstellung zunächst in eine strukturierte Form zurückführen und Reasoning anschließend auf dieser Struktur ausführen.
Für IncluLearn.AI ist genau dieses Prinzip interessant. Gleichzeitig bleibt ein wichtiges Problem offen: Ein Modell kann viele Fragen korrekt beantworten, ohne das gesamte Diagramm vollständig und zuverlässig verstanden zu haben.
Charts: Struktur vor Reasoning
ChartQA etablierte einen Benchmark für visuelle und logische Fragen zu Charts. Spätere Arbeiten gehen einen Schritt weiter.
DePlot übersetzt einen Plot zunächst in eine linearisierte Tabelle und führt die eigentliche Fragebeantwortung anschließend auf dieser Zwischenrepräsentation aus. UniChart kombiniert mehrere Aufgaben rund um Chartstruktur, Verständnis und Reasoning.
Für IncluLearn.AI ist daran weniger der konkrete QA-Score entscheidend als das Architekturprinzip: Visuelle Form wird in strukturierte Daten zurückgeführt, bevor weitere Verarbeitung erfolgt.
Das ähnelt dem Semantic-first-Ansatz des Projekts.
UML: Domänenspezialisierung kann einen Unterschied machen
Ein 2026 veröffentlichter Preprint von Naboichenko und Peinl führt einen spezialisierten Benchmark für UML-Klassendiagramme sowie rund 16.000 Bild-Frage-Antwort-Trainingsbeispiele ein.
Die Autoren berichten, dass ein LoRA-basiertes Fine-Tuning auf ihrer UML-Aufgabe allgemeine VLM-Baselines deutlich übertrifft. Das ist für IncluLearn.AI ein wichtiges Signal: Technische Diagramme können so domänenspezifisch sein, dass allgemeines visuelles Sprachverständnis allein nicht genügt.
Der Status muss aber klar bleiben: Die Arbeit ist derzeit als Preprint verfügbar, und der Schwerpunkt liegt auf Visual Question Answering.
Wissenschaftliche Diagramme: große synthetische Datensätze
Ebenfalls 2026 stellt der SciGram-Preprint einen Datensatz mit mehr als 194.000 wissenschaftlichen Diagrammen und rund 1,4 Millionen synthetischen visuellen Instruktionen vor. Die Autoren berichten Verbesserungen auf diagrammbezogenen Benchmarks wie TQA, ScienceQA und AI2D.
Spannend ist hier insbesondere die Skalierung synthetischer Trainingsdaten aus fachlicher Terminologie und Webdiagrammen.
Für IncluLearn.AI bleibt aber offen, wie gut solche Methoden auf technische Artefakte wie UML, Schaltungen oder KV-Diagramme übertragen werden können – und ob synthetische Frage-Antwort-Daten die Art von vollständiger Strukturrekonstruktion fördern, die wir benötigen.
Der zentrale Unterschied: QA versus Rekonstruktion
Für Accessibility kann eine einzelne richtige Antwort zu wenig sein.
Angenommen, ein Modell beantwortet korrekt, welche Klasse von Person erbt. Trotzdem könnte es eine zweite Vererbungsbeziehung, eine Kardinalität oder ein Attribut übersehen. Für die konkrete Frage wäre die Antwort richtig, die barrierefreie Repräsentation aber unvollständig.
IncluLearn.AI benötigt deshalb zusätzlich Metriken für:
- Entitäten und Attribute,
- Relationen und Richtungen,
- Zahlen, Einheiten und Symbole,
- Negativfälle,
- strukturrelevante Gruppierungen,
- korrekt erkannte Unsicherheit oder Enthaltung.
Wo aktuelle Diagramm-KI besonders interessant wird
Aus dem Forschungsstand ergeben sich drei vielversprechende Richtungen:
- strukturierte Zwischenrepräsentationen statt freier Antworten,
- domänenspezifische Daten und Modellanpassung für schwierige Diagrammklassen,
- kombinierte Validierung aus Modellausgabe, Schema-/Fachregeln und menschlichem Review.
Diese Richtungen schließen sich nicht aus. Wahrscheinlich wird ein belastbarer Workflow mehrere davon kombinieren.
Konsequenz für IncluLearn.AI
Das Projekt sollte nicht nur fragen: „Welches VLM versteht Diagramme am besten?“
Die wichtigere Frage lautet: Welcher Aufbau liefert eine vollständige, überprüfbare Semantik mit vertretbarem Reviewaufwand – und erkennt zuverlässig, wenn er etwas nicht weiß?