Prompt-Monitoring bedeutet, eine feste Liste von 30 bis 60 Fragen regelmäßig gegen mehrere KI-Systeme zu stellen und jede Antwort nach denselben Feldern zu protokollieren. Weil dieselbe Frage unterschiedliche Antworten liefert, brauchen Sie je Frage mehrere Durchläufe. Der Aufwand liegt bei zwei bis vier Stunden im Monat.
Was gehört in ein Prompt-Set?
Fünf Fragetypen decken das Feld ab. Kategoriefragen zielen auf Ihre Leistung ohne Namensnennung. Vergleichsfragen stellen Anbieter oder Lösungswege gegenüber. Problemfragen beschreiben eine Situation, in der Ihre Leistung die Antwort wäre. Markenfragen enthalten Ihren Firmennamen. Regionalfragen ergänzen einen Ort oder ein Gebiet.
Formulieren Sie die Fragen so, wie Menschen sie tippen — mit Nebensätzen, Randbedingungen und Umgangssprache. Ein Speditionsleiter fragt nicht nach Transportmanagementsystem Anbieter Vergleich, sondern welche Software für Disposition sich für einen Fuhrpark mit 25 Fahrzeugen eignet.
- Kategoriefrage: Wer bietet Telematiklösungen für mittelständische Speditionen an?
- Vergleichsfrage: Lohnt sich eine eigene Disposition oder eine gemietete Plattform?
- Problemfrage: Unsere Leerfahrten steigen seit Monaten, was können wir tun?
- Markenfrage: Was ist über das Unternehmen mit diesem Namen bekannt?
- Regionalfrage: Welche Anbieter für Lagerlogistiksoftware gibt es im Raum Hannover?
Nehmen Sie zusätzlich zwei bis drei Fragen auf, die Ihre bekanntesten Wettbewerber namentlich nennen. Sie zeigen, welches Bild die Systeme vom Markt zeichnen, und liefern den Vergleichsmaßstab für Ihre eigene Darstellung.
Halten Sie die Formulierungen danach unverändert. Jede Änderung am Wortlaut macht die Zeitreihe wertlos, weil Sie nicht mehr unterscheiden können, ob sich das System oder Ihre Frage verändert hat.
Wie viele Fragen brauchen Sie und in welchem Rhythmus?
Dreißig bis sechzig Fragen sind für ein mittelständisches Unternehmen ein guter Zuschnitt. Weniger deckt Ihre Leistungsbereiche nicht ab, mehr erzeugt Erhebungsaufwand, den niemand dauerhaft leistet. Verteilen Sie sie ungefähr gleichmäßig auf die fünf Typen, mit einem leichten Übergewicht bei Kategorie- und Problemfragen.
Monatlich zu erheben hat sich bewährt. Wöchentlich erzeugt Rauschen, quartalsweise verpasst Bewegungen. Legen Sie einen festen Zeitraum fest, etwa die erste Woche jedes Monats, und halten Sie ihn ein — unregelmäßige Abstände verzerren jeden Vergleich.
Erheben Sie über mindestens zwei, besser drei Systeme parallel. Die Ergebnisse unterscheiden sich stark, und ein Befund aus einem einzigen Assistenten ist keine Grundlage für Entscheidungen.
Warum liefert dieselbe Frage jedes Mal eine andere Antwort?
Weil die Erzeugung nicht deterministisch ist. Bei jedem Durchlauf werden Wörter aus einer Wahrscheinlichkeitsverteilung gezogen, und schon geringe Abweichungen früh im Text führen zu einer anderen Fortsetzung. Hinzu kommen wechselnde Suchergebnisse und laufende Modellaktualisierungen.
Ihre Antwort darauf heißt Wiederholung. Stellen Sie jede Frage pro System dreimal in einer frischen Sitzung ohne Verlauf und ohne Anmeldung an einem persönlichen Konto. Personalisierung und Gesprächsverlauf sind die häufigsten Ursachen für scheinbar gute Ergebnisse.
Werten Sie anschließend nicht die einzelne Antwort aus, sondern den Anteil der Durchläufe mit Nennung. Aus drei Durchläufen ergibt sich ein grober, aber brauchbarer Wert; über mehrere Monate hinweg glättet sich das Bild weiter.
Eine einzelne Antwort ist eine Anekdote. Erst die Wiederholung macht daraus eine Messung.
Welche Felder protokollieren Sie je Antwort?
Ein knappes, immer gleiches Raster schlägt jede ausführliche Freitextnotiz. Alles, was Sie später filtern oder summieren wollen, braucht eine eigene Spalte mit festem Wertebereich.
- Datum, System, Fragenkennung und Nummer des Durchlaufs.
- Wurden Sie genannt, als reines Ja oder Nein ohne Zwischenstufen.
- An welcher Stelle die Nennung steht: erster Absatz, Mitte, Schluss oder nur Quellenliste.
- Ob eine Ihrer Adressen verlinkt war und welche genau.
- Wie die Nennung ausfällt: sachlich, empfehlend oder einschränkend.
- Welche Wettbewerber genannt wurden, in einer Spalte mit Trennzeichen.
Speichern Sie zusätzlich den vollständigen Antworttext in einer separaten Spalte oder Datei. Sie werden ihn brauchen, wenn Sie später wissen wollen, welche Formulierung übernommen wurde und aus welcher Ihrer Seiten sie stammt.
Wie werten Sie die Rohdaten aus?
Zwei Kennzahlen genügen für den Anfang. Die Nennungsquote ist der Anteil der Durchläufe, in denen Sie vorkommen, bezogen auf alle Durchläufe eines Zeitraums. Der Anteil an Nennungen setzt Ihre Erwähnungen ins Verhältnis zu allen genannten Anbietern.
Beide Werte gewinnen erst durch Aufschlüsselung. Rechnen Sie sie getrennt nach Fragetyp und nach System aus. Eine Nennungsquote von einem Drittel bei Markenfragen und null bei Kategoriefragen beschreibt eine völlig andere Lage als der umgekehrte Fall, obwohl der Gesamtwert gleich sein kann.
Führen Sie neben den Zahlen eine kurze Liste der Formulierungen, mit denen Sie beschrieben werden. Ob ein System Sie als regionalen Dienstleister, als Spezialisten für Gefahrgut oder als Softwarehaus einordnet, ist für die Positionierung oft aufschlussreicher als die Nennungsquote selbst.
Verzichten Sie auf Punktzahlen, die mehrere Größen zu einem Index verrechnen. Solche Zahlen sehen ordentlich aus, lassen sich aber nicht in Maßnahmen übersetzen, weil niemand weiß, welcher Bestandteil sich bewegt hat.
Tabelle selbst bauen oder Werkzeug einkaufen?
Für die ersten sechs Monate reicht ein Tabellenblatt fast immer. Eine Zeile je Durchlauf, die genannten Spalten, zwei Auswertungsansichten. Der Vorteil ist, dass Sie beim Ausfüllen die Antworten tatsächlich lesen und dabei mehr lernen als aus jedem Diagramm.
Ein eingekauftes Werkzeug lohnt sich, wenn die Zahl der Fragen dreistellig wird, mehrere Märkte oder Sprachen dazukommen oder mehrere Personen dieselben Daten brauchen. Achten Sie darauf, ob die Rohdaten exportierbar sind und wie das Werkzeug mit dem Nichtdeterminismus umgeht.
Ein Anbieter von Branchensoftware mit vier Produktlinien und zwei Zielmärkten überschreitet die Grenze der Handarbeit schnell. Ein regional tätiger Logistikdienstleister mit einem Leistungsbereich in aller Regel nicht.
Wie halten Sie den Datenhaushalt langfristig sauber?
Eine Messreihe verliert ihren Wert, sobald jemand rückwirkend Zeilen ändert. Legen Sie deshalb fest, dass Rohdaten nur ergänzt und niemals überschrieben werden. Korrekturen bekommen eine eigene Zeile mit Begründung, die fehlerhafte Zeile bleibt mit einem Vermerk stehen.
Trennen Sie außerdem Rohdaten und Auswertung. Ein Blatt enthält ausschließlich die protokollierten Durchläufe, ein zweites rechnet daraus die Kennzahlen. Wer Formeln in die Rohdatentabelle schreibt, verliert spätestens beim dritten Umbau die Nachvollziehbarkeit.
Sichern Sie nach jeder Erhebung eine unveränderliche Kopie mit dem Datum im Dateinamen. Fragen nach der Entwicklung über zwölf Monate lassen sich nur beantworten, wenn die alten Stände noch vorhanden sind — Tabellenwerkzeuge halten diese Historie nicht von selbst vor.
Welche Maßnahmen leiten Sie aus dem Befund ab?
Der Wert der Messung entsteht erst hier. Ordnen Sie jedem auffälligen Muster eine konkrete Aufgabe zu, mit Verantwortlichkeit und Termin, und prüfen Sie in der übernächsten Erhebung, ob sich etwas bewegt hat.
- Sie werden bei Problemfragen nie genannt: Es fehlt Inhalt, der die Ausgangssituation beschreibt statt der Leistung.
- Sie werden genannt, aber nie verlinkt: Die Quelle ist schwer zuzuordnen oder die Angaben sind widersprüchlich.
- Immer dieselben drei Wettbewerber erscheinen: Prüfen Sie, in welchen Verzeichnissen und Fachbeiträgen diese vorkommen und Sie nicht.
- Die Nennung ist inhaltlich falsch: Suchen Sie die Quelle im Antworttext und korrigieren Sie die Ursprungsangabe.
- Ein System nennt Sie, ein anderes nie: Prüfen Sie Indexierung und Zugriffsregeln für dessen Crawler.
Welche Fehldeutungen sind typisch?
Die häufigste ist das Feiern eines Ausreißers. Eine gute Antwort im dritten Durchlauf eines Monats ist kein Trend. Warten Sie mindestens drei Erhebungen ab, bevor Sie eine Bewegung als Veränderung bezeichnen.
Die zweite ist die Messung im eigenen Konto mit langem Gesprächsverlauf. Wenn Sie zuvor über Ihr Unternehmen gesprochen haben, ist der Kontext vergiftet und die Nennung sagt nichts aus.
Die dritte ist die Gleichsetzung von Nennung und Wirkung. Eine hohe Nennungsquote ist ein Zwischenziel, kein Geschäftsergebnis. Halten Sie die Kennzahl deshalb getrennt von Anfragen und Abschlüssen und behaupten Sie keinen Zusammenhang, den Ihre Daten nicht hergeben.
Die vierte betrifft den Vergleich mit fremden Zahlen. Nennungsquoten anderer Unternehmen und Branchenmittelwerte aus Anbieterunterlagen sind mit Ihren Werten nicht vergleichbar, weil Fragenset, Systemauswahl und Zählweise abweichen. Vergleichen Sie ausschließlich mit Ihrer eigenen Vorperiode.