Im virtuellen Diskurs wird derzeit intensiv über die potenzielle, wenn auch gelegentlich übertriebene, Auswirkung von KI-Chatbots wie OpenAIs ChatGPT und deren Einfluss auf unsere Arbeitsweisen debattiert. Innerhalb dieser Diskussion werden auch skeptische Stimmen laut: Droht die akademische Welt durch KI-Chatbots ins Lächerliche gezogen zu werden? Werden Experten auf dem Abstellgleis landen? Zeichnet sich hier das bedrohliche Szenario aus Werken wie "I, Robot" oder "Skynet" ab?
Nun haben Fachleute der Purdue University in West Lafayette, USA, diese Debatte mit einem ausführlichen, dreizehnseitigen Dokument (als PDF verfügbar) aufgegriffen und die folgende Schlussfolgerung präsentiert: KI-Chatbots besitzen keineswegs omnipräsentes Wissen.
Die Experten haben einen unvoreingenommenen Blick auf die Thematik geworfen und betonen, dass die Fähigkeiten von KI-Chatbots, trotz ihrer beeindruckenden Fortschritte, immer noch klare Grenzen aufweisen. Diese Erkenntnis wirft ein neues Licht auf die anhaltende Debatte und bietet eine differenziertere Grundlage für die Betrachtung der Rolle von KI-Chatbots in verschiedenen Sektoren.
KI-Chatbots und faktische Desinformation
Die kürzlich durchgeführte Untersuchung hat Antworten von ChatGPT mit denen von tatsächlichen Nutzern des Portals Stack Overflow verglichen, das im Wesentlichen wie eine moderne Variante von Yahoo! Answers funktioniert. Der allgegenwärtige Chatbot wurde mit einer Auswahl von 517 Fragen zu verschiedenen Themen gefüttert, die auf der Plattform zu finden waren und die Ergebnisse offenbaren eine ernüchternde Quote des KI-Tools.
Satte 52 % der Antworten, die von ChatGPT bereitgestellt wurden, sind hierbei als inkorrekt eingestuft worden. Im Umkehrschluss sind also weniger als die Hälfte aller generierten Antworten des Chatbots als korrekt einstufbar – nichts, worauf wir uns bei einer Prüfung oder Ähnlichem verlassen würden.
Während die Technologie also zweifellos beeindruckende Fortschritte gemacht hat, verdeutlicht diese Untersuchung, dass noch immer Raum für Verbesserungen besteht, um die Genauigkeit und Zuverlässigkeit der Antworten weiter zu steigern.
Keinesfalls unfehlbar
Basierend auf diesen Ergebnissen ergibt sich eine klare Verpflichtung, KI-Möglichkeiten auch künftig genauer zu beleuchten, statt sie vorschnell als Allzwecklösung anzunehmen. Die Wurzeln dieser Debatte reichen über 40 Jahre zurück zu Stanley Kubrick und finden 2023 ihre wohl aktuellste Anwendung.
Die Zuverlässigkeit von KI als Wissensquelle weist noch immer Lücken auf, deren offensichtliche und potenziell gefährliche Auswirkungen nicht übersehen werden dürfen. Interessanterweise verschwimmen die Grenzen aber zunehmend, weswegen es auch Menschen fortlaufend schwerer fällt, KI-Inhalte von menschlich erstellten zu unterscheiden.
Beispiel gefällig? In einem vergleichbaren Pepsi/Coke-Blindtest konnte eine bemerkenswerte Anzahl von 12 Teilnehmenden mit unterschiedlichem Programmierhintergrund in 39,34 % der Fälle eine Antwort, die von der KI generiert wurde, nicht von einer Antwort aus Stack Overflow unterscheiden.
Die weitverbreitete Vorstellung von ChatGPT als unfehlbare Allzweckwaffe, erweist sich (vorerst) allerdings als trügerisch. Wie die Studie beweist, ist das KI-Tool demnach noch weit von seinem perfektionistischen Bestreben entfernt. Und so waren selbst die korrekten Antworten des KI-Bots in gut zwei Dritteln aller Fälle unvollständig.
Menschheit, du darfst aufatmen, denn noch ist die Computerintelligenz längst nicht allwissend!
Via ZDNet
