Wenn ich ein Marketingteam besuche, das jeden Tag mit KI arbeitet, frage ich: Wer prüft eigentlich, was die KI liefert? Und was weiß diese Person über das Thema? Die Antwort sagt mir meist mehr über die KI-Reife des Teams als jedes Nutzungs-Dashboard.
Das Education-Team von Anthropic hat sich genau diese Frage jetzt angeschaut. Im September ist dazu ein Report erschienen: Wie Menschen die Arbeit von Claude prüfen. Grundlage sind Interviews mit Teilnehmern der Claude Academy. Die Forscher hatten mit Zeitdruck als größter Hürde gerechnet. Ganz oben stand dann aber fehlendes Fachwissen.
Im Report heißt es: „Es ist schwer, eine Antwort zu beurteilen, wenn man nicht genau weiß, wie eine gute aussieht.“
Die Stichprobe ist klein, und die Teilnehmer haben sich selbst gemeldet. Das sagen die Autoren auch selbst. Trotzdem finde ich: Marketingteams sollten sich die Ergebnisse genau anschauen.
Für Marketingtexte gibt es keinen Testlauf
Woran das liegt, erklärt der Report auch. Mit KI trauen sich Leute an Aufgaben außerhalb ihres Fachs. Und genau da tun sie sich schwer, das Ergebnis zu beurteilen.
So sieht B2B-Marketing heute ja oft aus. Ein Content-Manager schreibt über die Effizienzklasse einer Pumpe, ohne je Maschinenbau studiert zu haben. Eine Kampagnenmanagerin textet für einen Markt, in dem sie nie verkauft hat. Ein KI-Tool liefert in beiden Fällen in Minuten flüssige Texte.
Softwareentwickler haben es da leichter. Wenn es um Code ging, waren laut Report „meistens Tests im Spiel“. Eine kaputte Funktion fällt durch den Test.
Für Marketingtexte gibt es nichts Vergleichbares. Eine falsche Produktaussage liest sich genauso flüssig wie eine richtige. Bei Texten zählten vor allem Fachwissen und ein Kollege, der genau gegenliest, ob alles passt. In den meisten Marketingteams ist dieser Kollege der Produktmanager. Und der hat schon genug zu tun.
Eine falsche Produktaussage liest sich genauso flüssig wie eine richtige.
Was Leute nach einem Fehler geändert haben
Am spannendsten fand ich den Teil über Fehler. Die Teilnehmer haben 18 Fälle beschrieben, in denen ihnen ein Fehler von Claude durchgerutscht ist. Die Hälfte dieser Leute sagt, dass sie seitdem anders arbeitet.
Geändert haben sie vor allem die Abläufe. Manche lassen Claude jetzt erst die Quelle zitieren, bevor es etwas empfiehlt. Manche haben bei mehrstufigen Aufgaben nach jedem Schritt eine Freigabe eingebaut. Manche lassen mehrere KI-Agenten parallel laufen: Einer macht die Arbeit, die anderen prüfen Teile davon.
Laut den Forschern haben diese Leute nicht einfach „genauer hingeschaut“ und sind auch nicht über Nacht zu Experten geworden. Sie haben ihren Workflow umgebaut.
In vielen Firmen sehe ich den umgekehrten Reflex. Läuft ein KI-Pilot mäßig, gibt es als Erstes noch eine Schulung und noch ein Markendokument. Nur kommt beides nach meiner Erfahrung nie da an, wo es zählt: wenn jemand vor einem Entwurf sitzt und entscheiden muss, ob der stimmt.
Den Expertenrat gibt es schon
Zum Schluss gibt der Report fünf Empfehlungen. Die vierte: Stellt euch einen Expertenrat zusammen. Überlegt euch, wen ihr außerhalb eures Fachs zum Gegenlesen anruft. Und meldet euch, bevor ihr auf Veröffentlichen klickt.
In den meisten B2B-Firmen steht dieser Expertenrat längst auf der Gehaltsliste. Das sind die Produktmanagerin, der Anwendungstechniker, der Vertriebsleiter, der den Markt kennt. Das Problem: ihr Kalender. Sie können nicht jeden Entwurf lesen.
In den meisten B2B-Firmen steht dieser Expertenrat längst auf der Gehaltsliste.
Also schreiben wir ihr Urteil als Anleitung für die KI auf. Diese Skill-Sets bilden ab, wie ein erfahrener Profi eine Aufgabe angeht: mit seinen Inputs, seinen Arbeitsschritten und seinen Qualitätschecks. Und sie laufen in der KI, die das Team sowieso nutzt. Genau das haben auch die Teilnehmer aus dem Report nach einem Fehler gemacht: Sie haben den Workflow verbessert.
Wenn es bei einer Aussage drauf ankommt, ruft man den Experten trotzdem an. Aber der erste fachliche Check läuft jetzt bei jedem Entwurf mit.
Zurück zu meiner Frage vom Anfang. Wer prüft bei euch, was die KI liefert, und was versteht diese Person vom Thema? Wenn die Antwort „wer gerade Zeit hat“ lautet, fangt genau da an: Nehmt euch eine Textsorte vor, legt fest, welcher Experte sie lesen soll, und schreibt auf, worauf er achten würde.