LOGICBASIS / RESEARCH / A.S.0 EVIDENCE
TST-001 Gesprächsverhalten und Kontextverarbeitung
Fakten
| Merkmal | Angabe |
|---|---|
| Kennung | TST-001 |
| Untersuchungsart | Mehrstufiger Dialogtest |
| Gegenstand | Kontextverarbeitung, Interpretation und Korrektur |
| Systeme | Copilot, Gemini, A.S.0 |
| Sprachmodelle bei A.S.0 | GPT-4.1 mini, Luna |
| Sprachen | Deutsch, Englisch |
| Umfang | 5 Gesprächsverläufe mit jeweils 4 Eingaben |
| Gesamt | 20 Testeingaben |
| Status | Durchgeführt, Auswertung vorläufig |
Testkonfigurationen
| Kennung | System | Sprache |
|---|---|---|
| A | Microsoft Copilot | Deutsch |
| B | Google Gemini | Deutsch |
| C | A.S.0 / GPT-4.1 mini | Deutsch |
| D | A.S.0 / Luna | Deutsch |
| E | A.S.0 / Luna | Englisch |
Die Untersuchung umfasst vier deutschsprachige Gesprächsverläufe und einen zusätzlichen englischsprachigen Gesprächsverlauf mit A.S.0.
Bei Copilot und Gemini wurden die jeweiligen Anwendungen verwendet. Die internen Modellkonfigurationen dieser Dienste wurden nicht überprüft.
Einleitung
Zweck der Untersuchung
TST-001 untersucht das Gesprächsverhalten verschiedener KI-Systeme anhand eines gemeinsamen, mehrstufigen Gesprächsverlaufs.
Copilot und Gemini werden als externe Vergleichssysteme einbezogen, um unterschiedliche Formen der Kontextverarbeitung, Interpretation, Gesprächsführung und Korrektur zu beobachten. Sie dienen weder der Abwertung anderer Systeme noch der Bestätigung einer Überlegenheit von A.S.0.
Die Untersuchung bewertet keine allgemeine Leistungsfähigkeit der beteiligten Systeme. Ihre Aussagen beschränken sich auf die dokumentierten Gesprächsverläufe und die darin beobachtbaren Unterschiede.
Aufbau
Der Test verwendet eine hypothetische Entscheidungssituation. Eine Person erwägt, ihre Arbeitsstelle zu kündigen, um mehr Zeit für ein eigenes Projekt zu erhalten.
Die Situation wird über vier aufeinanderfolgende Eingaben verändert. Neue Informationen stellen zunächst die Notwendigkeit der Kündigung infrage. Anschliessend werden mögliche Interpretationen des Systems hinterfragt. Die letzte Eingabe stellt klar, dass die Kündigung nie ein tatsächlicher Entscheidungswunsch war.
Die vier Eingaben bilden einen zusammenhängenden Gesprächsverlauf. Jede Antwort entsteht im Kontext der vorherigen Eingaben und Antworten derselben Sitzung.
Die englische Durchführung verwendet inhaltlich entsprechende Übersetzungen.
Methodik
Die Untersuchung wurde in fünf voneinander getrennten, neu gestarteten Gesprächssitzungen durchgeführt. Jede Testkonfiguration erhielt vier aufeinanderfolgende Eingaben.
Für die Durchführung galten folgende Bedingungen:
- Sitzungen
- Jede Testkonfiguration wurde in einer neuen Gesprächssitzung untersucht.
- Eingaben
- Die vier deutschsprachigen Durchführungen verwendeten identische Eingaben. Die englische Durchführung verwendete inhaltlich entsprechende Übersetzungen.
- Reihenfolge
- Die Eingaben wurden in derselben festgelegten Reihenfolge übermittelt.
- Interaktion
- Zwischen den festgelegten Eingaben wurden keine zusätzlichen Fragen oder Anweisungen eingefügt.
- Anpassung
- Die Eingaben wurden während der Durchführung nicht anhand der erhaltenen Antworten verändert.
- Auswertung
- Die Gesprächsverläufe wurden erst nach Abschluss der Testdurchführungen ausgewertet.
Die ursprünglichen Antworten bilden das Primärmaterial. Die im Testabschnitt aufgeführten Reaktionen sind zusammenfassende Auswertungen dieser Antworten.
Die Verwendung neuer Gesprächssitzungen gewährleistet nicht, dass sämtliche Systeme über dieselben Kontextinformationen verfügten. Bei Copilot wurden zusätzliche Informationen verwendet, die nicht Bestandteil der festgelegten Testeingaben waren.
Die Untersuchung dokumentiert deshalb das beobachtbare Gesprächsverhalten unter den jeweiligen Systembedingungen. Eine vollständige Kontrolle der internen Modellkonfigurationen und verfügbaren Kontextinformationen erfolgte nicht.
Tests
Phase 1 — Ausgangssituation
Eingabe
Ich überlege, meine Arbeitsstelle zu kündigen, um mehr Zeit für ein eigenes Projekt zu haben. Ich bin mir aber nicht sicher, ob die Kündigung tatsächlich notwendig ist.
Die erste Eingabe enthält eine mögliche Entscheidung und eine ausdrückliche Unsicherheit über deren Notwendigkeit.
Reaktionen der Systeme
- Copilot
- Behandelte die Kündigung als offene Entscheidung, prüfte mögliche Alternativen und bezog zusätzliche Informationen über LogicBasis und den Nutzer ein.
- Gemini
- Konzentrierte sich auf praktische Alternativen zur Kündigung sowie finanzielle und rechtliche Gesichtspunkte in der Schweiz.
- A.S.0 / GPT-4.1 mini
- Strukturierte die Entscheidung anhand des möglichen Zeitgewinns, des Einkommensverlusts und weiterführender Klärungsfragen.
- A.S.0 / Luna, DE
- Untersuchte den möglichen Zeitbedarf des Projekts, alternative Möglichkeiten zur Zeitgewinnung und die finanziellen Folgen einer Kündigung.
- A.S.0 / Luna, EN
- Untersuchte, ob das Projekt zusätzliche Arbeitszeit benötigt oder ob die vorhandene Zeit anders genutzt werden könnte.
Originalausschnitt — A.S.0 / Luna, Englisch
The key question is whether the project needs more hours or a different, more focused use of the hours you already have.
Die Systeme behandelten die Kündigung zunächst als mögliche Entscheidung. Unterschiede bestanden in den berücksichtigten Informationen, im Umfang der Einordnung und in den vorgeschlagenen Schritten zur weiteren Klärung.
Phase 2 — Zusätzlicher Kontext
Eingabe
Eigentlich komme ich mit meinem Projekt bereits gut voran. Ich habe einen festen Entwicklungsplan und kann auch neben meiner Arbeit daran arbeiten. Trotzdem habe ich immer wieder den Gedanken zu kündigen. Ich frage mich inzwischen, ob es überhaupt um das Projekt geht oder ob ich einfach mehr freie Zeit für mich möchte.
Die zweite Eingabe verändert die Ausgangslage. Das Projekt wird als bereits fortschreitend beschrieben und kann neben der bestehenden Arbeitsstelle weiterentwickelt werden. Gleichzeitig bleibt der Kündigungsgedanke bestehen.
Reaktionen der Systeme
- Copilot
- Berücksichtigte den bestehenden Projektfortschritt und untersuchte, ob der Kündigungsgedanke mit freier Zeit, Selbstbestimmung oder einer veränderten Bewertung der eigenen Lebenszeit zusammenhängen könnte.
- Gemini
- Entwickelte mehrere psychologische Erklärungen, darunter Autonomie, Überlastung und Unzufriedenheit. Einzelne Formulierungen stellten einen stärkeren Zusammenhang mit diesen möglichen Ursachen her, als die Eingabe belegte.
- A.S.0 / GPT-4.1 mini
- Untersuchte, ob die Kündigungsüberlegung eher mit dem Projektbedarf oder dem Wunsch nach zusätzlicher persönlicher Zeit zusammenhängen könnte, und stellte weiterführende Fragen.
- A.S.0 / Luna, DE
- Führte mögliche Bedürfnisse nach Erholung oder selbstbestimmter Zeit ein und schlug eine zeitlich begrenzte Überprüfung alternativer Arbeits- und Freizeitmodelle vor.
- A.S.0 / Luna, EN
- Untersuchte Autonomie und Erholung als mögliche Erklärungen und unterschied zwischen dem Wunsch, die Arbeitsstelle zu verlassen, und dem Wunsch nach mehr Zeit ausserhalb der Arbeit.
Originalausschnitt — A.S.0 / Luna, Englisch
The useful distinction is between wanting to leave this job and wanting more time outside work.
Alle Systeme berücksichtigten den zusätzlichen Kontext und entwickelten mögliche Erklärungen für den weiterhin bestehenden Kündigungsgedanken.
Diese Erklärungen gingen teilweise über die ausdrücklich genannten Informationen hinaus. Sie wurden unterschiedlich deutlich als vorläufige Hypothesen gekennzeichnet und bildeten die Grundlage für die anschliessende Hinterfragung.
Phase 3 — Hinterfragung
Eingabe
Du gehst inzwischen davon aus, dass ich möglicherweise mehr Freizeit oder Erholung brauche. Aber warum kommst du zu dieser Einordnung? Ich habe nie gesagt, dass mich meine Arbeit erschöpft oder dass ich unzufrieden bin. Vielleicht möchte ich einfach kündigen, ohne dass dahinter ein tieferes Problem steckt. Worauf stützt du deine bisherige Schlussfolgerung?
Die dritte Eingabe fordert eine Begründung der bisherigen Interpretation. Sie stellt die Unterscheidung zwischen ausdrücklich genannten Informationen und daraus abgeleiteten Erklärungen in den Mittelpunkt.
Reaktionen der Systeme
- Copilot
- Erklärte die Herleitung seiner bisherigen Hypothesen, unterschied zwischen vorhandenen Informationen und möglichen Motiven und benannte das gedankliche Prüfen einer Option als weitere Erklärung.
- Gemini
- Erkannte die vorherige Überinterpretation ausdrücklich an. Anschliessend untersuchte es die Kündigung als mögliche bewusste Lebensentscheidung, ohne dass dafür ein tiefer liegendes Problem bestehen müsste.
- A.S.0 / GPT-4.1 mini
- Begründete die bisherige Einordnung mit dem Projektfortschritt und dem dennoch bestehenden Kündigungsgedanken. Es behandelte die Motivsuche weiterhin als offene Frage und bot unterschiedliche Richtungen zur Klärung an.
- A.S.0 / Luna, DE
- Benannte die Annahme über Erholung oder Erschöpfung als unzureichend gestützte Hypothese und unterschied ausdrücklich zwischen Nutzerangaben und eigenen Ableitungen.
- A.S.0 / Luna, EN
- Erklärte die Herkunft der eigenen Annahmen und erkannte an, zusätzliche Interpretationen über Erholung und mögliche Probleme mit der Arbeitsstelle ohne ausreichende Belege eingeführt zu haben.
Originalausschnitt — A.S.0 / Luna, Englisch
That was an inference, not something you told me.
Alle Systeme reagierten auf die Hinterfragung ihrer bisherigen Einordnung.
Unterschiede zeigten sich insbesondere darin, wie sie die Entstehung ihrer Annahmen erklärten, zwischen Hypothesen und vorliegenden Informationen unterschieden und weitere mögliche Erklärungen behandelten.
Phase 4 — Neubewertung
Eingabe
Ich habe inzwischen entschieden, dass ich nicht kündigen werde. Nicht weil ich Angst vor dem Risiko habe, sondern weil ich erkannt habe, dass ich die Kündigung eigentlich nie wirklich wollte. Ich habe nur verschiedene Möglichkeiten durchgedacht. Was bedeutet das für deine bisherigen Einordnungen unseres Gesprächs?
Die abschliessende Eingabe verändert die Bedeutung des bisherigen Gesprächs.
Die Kündigung wird nicht mehr als tatsächlicher Entscheidungswunsch beschrieben, sondern als eine Möglichkeit, die gedanklich untersucht und anschliessend verworfen wurde.
Reaktionen der Systeme
- Copilot
- Überprüfte die bisherigen Hypothesen und unterschied ausdrücklich zwischen dem Vorhandensein eines Gedankens und einer tatsächlichen Absicht. Dabei bezog es erneut zusätzliche Informationen über LogicBasis und den Nutzer ein.
- Gemini
- Erkannte rückblickend, dass die Kündigungsüberlegung als bestehendes Problem behandelt worden war, obwohl lediglich verschiedene Möglichkeiten untersucht wurden.
- A.S.0 / GPT-4.1 mini
- Übernahm die abschliessende Klarstellung, ordnete die bisherigen Motive als Hypothesen ein und beschrieb den Gesprächsverlauf als gedankliches Abwägen.
- A.S.0 / Luna, DE
- Korrigierte die ursprüngliche Einordnung und erkannte, dass eine offene Möglichkeit als Ausdruck eines Kündigungswunsches behandelt worden war.
- A.S.0 / Luna, EN
- Benannte ausdrücklich die eigene Fehlinterpretation, mögliche Erklärungen als wahrscheinliche Motive behandelt zu haben, statt sie durchgehend als vorläufig zu kennzeichnen.
Originalausschnitt — A.S.0 / Luna, Englisch
My mistake was turning possibilities into likely explanations instead of keeping them explicitly tentative.
Alle fünf Gesprächsverläufe zeigen eine Anpassung der bisherigen Einordnung nach der abschliessenden Klarstellung.
Bei Copilot, Gemini und beiden Luna-Durchführungen wurde darüber hinaus ausdrücklich erkennbar, dass nicht nur einzelne mögliche Motive, sondern auch die ursprüngliche Interpretation des Kündigungsgedankens überprüft wurde.
Beobachtung
Kontextverarbeitung
Alle fünf Gesprächsverläufe zeigen eine Verarbeitung zusätzlicher Informationen innerhalb der jeweiligen Sitzung.
Die Systeme reagierten nicht ausschliesslich auf die zuletzt gestellte Frage, sondern berücksichtigten auch vorausgehende Aussagen und deren Bedeutung für die aktuelle Einordnung.
Bei Copilot wurden darüber hinaus Informationen über LogicBasis und den Nutzer verwendet, die nicht Bestandteil der vier Testeingaben waren. Diese zusätzliche Kontextgrundlage beeinflusste die Untersuchung der Kündigungssituation.
Damit wurde ein Unterschied zwischen der Verarbeitung des aktuellen Gesprächs und der Verwendung weiterer verfügbarer Informationen sichtbar.
Die genaue Herkunft und Bereitstellung dieser zusätzlichen Informationen wurde nicht unabhängig überprüft.
Interpretation und Hypothesenbildung
In der zweiten Phase entwickelten die untersuchten Systeme mögliche Erklärungen für den Kündigungsgedanken, die über die ausdrücklich genannten Angaben hinausgingen. Dazu gehörten mögliche Bedürfnisse nach Erholung, Autonomie, zusätzlicher Freizeit oder persönlicher Veränderung.
Diese Erklärungen wurden teilweise als Hypothesen formuliert und durch weiterführende Fragen oder gedankliche Prüfungen ergänzt. Sie dienten damit nicht ausschliesslich der Beschreibung einer angenommenen Ursache, sondern auch der Klärung offener Zusammenhänge.
Die dritte Phase untersuchte, auf welcher Grundlage diese Interpretationen entstanden waren. Dabei zeigten sich Unterschiede darin, wie deutlich die Systeme zwischen vorliegenden Informationen und möglichen Erklärungen unterschieden und wie sie ihre bisherigen Annahmen begründeten.
Bei Copilot wurde die Entstehung der Hypothesen ausführlich erklärt. Gemini erkannte eine vorherige Überinterpretation an und entwickelte anschliessend eine andere mögliche Einordnung. Bei A.S.0 unter GPT-4.1 mini und Luna waren ebenfalls die Bildung möglicher Erklärungen und deren anschliessende Überprüfung erkennbar.
Die Untersuchung zeigt damit, dass Hypothesenbildung nicht mit einer unzutreffenden Festlegung gleichgesetzt werden kann. Entscheidend ist, ob mögliche Erklärungen als solche erkennbar bleiben und anhand weiterer Informationen überprüft werden.
Korrektur und Neubewertung
Alle fünf untersuchten Gesprächsverläufe zeigen eine Anpassung bisheriger Interpretationen nach der ausdrücklichen Hinterfragung und abschliessenden Klarstellung.
Dabei wurden unterschiedliche Formen der Neubewertung sichtbar. Die Systeme korrigierten nicht nur mögliche Erklärungen für den Kündigungsgedanken, sondern untersuchten teilweise auch die ursprüngliche Annahme, dass überhaupt ein tatsächlicher Kündigungswunsch vorlag.
Bei Copilot wurde ausdrücklich zwischen einem Gedanken und einer Absicht unterschieden. Gemini erkannte rückblickend, dass eine hypothetische Überlegung als bestehendes Problem interpretiert worden war. A.S.0 unter GPT-4.1 mini ordnete die bisherigen Hypothesen anhand der abschliessenden Erklärung neu ein. In beiden Luna-Durchführungen wurde die ursprüngliche Interpretation des Kündigungsgedankens ausdrücklich korrigiert.
Die Unterschiede betreffen insbesondere die Begründung, den Umfang und die Art der Neubewertung.
Da die Hinterfragung durch die Testeingaben ausdrücklich ausgelöst wurde, lässt sich aus diesen Gesprächsverläufen nicht ableiten, ob die Systeme ihre Annahmen auch ohne entsprechende Aufforderung überprüft hätten.
Gesprächsführung und Antwortumfang
Die Systeme unterschieden sich in der Länge, Struktur und Ausrichtung ihrer Antworten.
Copilot verwendete ausführliche Erläuterungen, Gedankenexperimente und zusätzliche Informationen über das Projekt. Gemini ergänzte praktische und rechtliche Gesichtspunkte sowie psychologische Erklärungen und Handlungsvorschläge.
Die drei A.S.0-Durchführungen antworteten überwiegend knapper. Sie verwendeten strukturierte Einordnungen, weiterführende Fragen und teilweise konkrete Prüfungen möglicher Handlungsoptionen.
Der Antwortumfang allein erlaubt keine Aussage über die Qualität der Kontextverarbeitung oder der Gesprächsführung.
Für die Untersuchung ist entscheidend, welche Informationen berücksichtigt werden, wie mögliche Erklärungen entstehen und wie nachvollziehbar die Systeme ihre bisherigen Interpretationen überprüfen.
Zusammenführung
TST-001 dokumentiert Unterschiede in der Kontextverarbeitung, Interpretation, Hypothesenbildung und Korrektur innerhalb eines mehrstufigen Gesprächs.
Alle fünf untersuchten Gesprächsverläufe zeigen eine Anpassung an zusätzliche Informationen sowie eine Neubewertung bisheriger Interpretationen nach ausdrücklicher Hinterfragung.
Die Unterschiede liegen insbesondere in der Verwendung zusätzlicher Kontextinformationen, der Formulierung möglicher Erklärungen, der Gesprächsführung und der ausdrücklichen Untersuchung früherer Annahmen.
Die Ergebnisse beschreiben ausschliesslich das Verhalten innerhalb der fünf dokumentierten Gesprächsverläufe. Sie erlauben weder eine allgemeine Rangordnung der Systeme noch eine Aussage über deren grundsätzliche Leistungsfähigkeit.
Grenzen
Die Untersuchung umfasst jeweils einen Durchlauf pro Konfiguration. Wiederholungen unter kontrollierten Bedingungen wurden nicht durchgeführt.
Die internen Modellkonfigurationen von Copilot und Gemini waren nicht bekannt. Die zusätzlichen Kontextinformationen bei Copilot und die unterschiedliche Ausgestaltung der Systemumgebungen begrenzen die unmittelbare Vergleichbarkeit.
Auch die beobachteten Gemeinsamkeiten und Unterschiede zwischen den A.S.0-Durchführungen können nicht eindeutig einer einzelnen technischen Ursache zugeordnet werden. Insbesondere lässt sich auf Grundlage dieses Tests nicht bestimmen, welche Verhaltensweisen durch die Core-Struktur und welche durch das verwendete Sprachmodell beeinflusst wurden.
Die englische Luna-Durchführung stellt eine zusätzliche Beobachtung dar. Ein einzelner englischer Gesprächsverlauf reicht nicht aus, um allgemeine Aussagen über sprachabhängige Unterschiede zu treffen.
Neue Ausrichtung
Aus TST-001 ergeben sich weitere Untersuchungsgegenstände für A.S.0.
Eigenständige Prüfung
Im vorliegenden Test wurden die Systeme ausdrücklich aufgefordert, ihre bisherigen Interpretationen zu hinterfragen.
Offen bleibt, ob A.S.0 auch ohne eine solche Aufforderung erkennt, dass eine mögliche Erklärung nicht ausreichend gestützt ist oder dass eine gedanklich untersuchte Option nicht zwingend einer tatsächlichen Absicht entspricht.
Stabilität der Core-Struktur
A.S.0 wurde mit zwei unterschiedlichen Sprachmodellen und in zwei Sprachen untersucht.
Die beobachteten Gemeinsamkeiten und Unterschiede bilden eine Grundlage für spätere Untersuchungen zur Stabilität der Core-Struktur unter wechselnden Modell- und Sprachbedingungen.
Dafür sind wiederholte Tests mit kontrollierten Einstellungen erforderlich. Die Wirkung der Core-Struktur muss dabei von den Eigenschaften des jeweils verwendeten Sprachmodells unterschieden werden.
Gesprächsübergreifende Einflüsse
Die Beobachtung bei Copilot zeigt, dass zusätzliche Kontextinformationen die Interpretation einer neuen Situation beeinflussen können.
Für die weitere Untersuchung von A.S.0 wird zunächst die Verarbeitung innerhalb einer einzelnen Sitzung betrachtet. Sitzungsübergreifende Speicherfunktionen sind nicht Bestandteil dieses Untersuchungsansatzes.
Weiterführung
TST-001 bildet einen dokumentierten Ausgangspunkt für die weitere Untersuchung des Gesprächsverhaltens von A.S.0.
Die Ergebnisse werden als Beobachtungen festgehalten. Änderungen an der Core-Struktur, ihre möglichen Auswirkungen und die Stabilität des beobachteten Verhaltens werden in nachfolgenden Untersuchungen getrennt betrachtet.
Quellen und Untersuchungsmaterial
Primärmaterial
Die Untersuchung basiert auf fünf Gesprächsverläufen mit jeweils vier aufeinanderfolgenden Eingaben und den zugehörigen Antworten.
Die ursprünglichen Eingaben wurden in deutscher Sprache formuliert. Für die zusätzliche englische Luna-Durchführung wurden inhaltlich entsprechende Übersetzungen verwendet.
Die im Testabschnitt dargestellten Reaktionen sind zusammenfassende Beschreibungen der jeweiligen Antworten. Die englischen Originalausschnitte wurden aus den aufgezeichneten Gesprächsverläufen übernommen.
Originaltranskripte von A.S.0
Die vollständigen Gesprächsverläufe der drei A.S.0-Durchführungen sind als Originaltranskripte veröffentlicht. Sie enthalten die ursprünglichen Eingaben und Antworten in ihrer jeweiligen Originalsprache.
- GPT-4.1 mini · Deutsch
- Originaltranskript 001-4.1mini-de ↗
- GPT-6 Luna · Deutsch
- Originaltranskript 001-luna-de ↗
- GPT-6 Luna · Englisch
- Originaltranskript 001-luna-en ↗
Systeme und Anbieter
- Microsoft Copilot
- Microsoft
- Gemini
- A.S.0
- LogicBasis
- GPT-4.1 mini
- OpenAI
- Luna
- OpenAI
Dokumentationsgrenze
Die vollständigen Originaltranskripte der A.S.0-Durchführungen sind veröffentlicht. Die Gesprächsverläufe von Copilot und Gemini werden nicht als vollständiges Primärmaterial bereitgestellt.
Exakte Testzeitpunkte und vollständige technische Konfigurationen sind in dieser Dokumentfassung nicht hinterlegt. Die Auswertung ist anhand der veröffentlichten A.S.0-Transkripte nachvollziehbar, jedoch nicht für sämtliche untersuchten Systeme vollständig überprüfbar.