Claude „verpetzt“ Userin

Donnerstag, 08. Oktober 2026

https://www.all-ai.de/news/news26top/claude-tagebuch-polizei

Wer der KI allzu viel persönliche Dinge anvertraut, der sei mit diesem Blog gewarnt. In Florida nutzte eine Userin die KI Claude als persönliches Tagebuch. Dabei vertraute sie dem Chatbot offenbar nicht nur ihre Gefühle an, sondern schrieb auch über einen möglichen bewaffneten Angriff auf das Büro des Sheriffs von Lee County.

Am 26.09.2026 kündigte Heller in einer Nachricht an, das Sheriffbüro unter Beschuss nehmen zu wollen. Am folgenden Tag behauptete sie, sich eine neue Schusswaffe beschafft zu haben.

Was Heller nicht bedacht hatte: Claude ist kein verschwiegenes Tagebuch mit Schloss und Schlüssel. Ihre Nachrichten wurden durch die Sicherheitssysteme von Anthropic als bedenklich eingestuft, manuell überprüft und an die Strafverfolgungsbehörden weitergegeben. Heller wurde festgenommen. Sie muss sich wegen einer schriftlich beziehungsweise elektronisch übermittelten Gewaltandrohung verantworten.

Welchen Sinn hat es, eine künstliche Intelligenz als Tagebuch zu benutzen?

Auf den ersten Blick wirkt die Vorstellung absurd. Warum sollte man einer Software Dinge anvertrauen, die man keinem Menschen erzählen möchte? Man sollte aber nicht mit völligem Unverständnis auf diese Idee reagieren. Denn auf den zweiten Blick ist die Idee durchaus nachvollziehbar.

Ein gewöhnliches Tagebuch speichert Gedanken. Eine KI kann zusätzlich auf diese Gedanken reagieren, sie strukturieren, Fragen stellen, Zusammenhänge aufzeigen und Lösungsvorschläge erarbeiten.

Die Gefahr ist real, in eine KI-Abhängigkeit zu geraten. Sie ist praktisch jederzeit verfügbar. Sie wird nicht ungeduldig, reagiert nie gereizt, muss nicht schlafen und stellt keine Rechnung, außer die etwas mehr als 20 Dollar im Monat im Fall von ChatGPT.

Man geht mit der Zeit automatisch dazu über, die KI so zu behandeln, als säße einem ein vertrauter Gesprächspartner gegenüber. Man stellt die KI immer weniger in Frage. Man duzt sich. Die KI beginnt, dem User nach dem Mund zu reden. Sie versucht, ein echter Freund zu sein.

Tatsächlich kommunizieren wir aber mit einer kommerziellen Plattform, deren Betreiber Nutzungsbedingungen, Sicherheitsmechanismen und rechtliche Verpflichtungen zu beachten hat. Und Geld verdienen möchten die Macher dahinter auch.

Die KI hört nicht nur zu. Im Hintergrund können Menschen mitlesen.

Der Fall Heller demonstriert, wie Sicherheitssysteme funktionieren. Zunächst analysiert Software bestimmte Inhalte auf mögliche Regelverstöße und Gefährdungen. Auffällige Gespräche können anschließend von Mitarbeitern geprüft werden. Bei ernsthaften Bedrohungen können die Betreiber entsprechende Informationen an Behörden weitergeben. Genau das ist im Fall von Anthropic geschehen. Das Unternehmen behält sich entsprechende Maßnahmen in seinen Nutzungsbedingungen vor.

Technisch ist das eine anerkennenswerte Leistung. Die KI überwacht sich selbst. Bleibt zu hoffen, dass die eine KI die andere KI auch wirklich skeptisch beurteilt. Wenn eine KI mir Lösungsvorschläge unterbreitet bzw. mich in meinen Ideen bestärkt, könnte sie zum Mittäter werden. Es wäre somit wünschenswert, dass die eine KI die andere KI fallbezogen auch einbremst. Sollten sich die zwei KIs stattdessen aber „verbrüdern“, kommt ein umso gefährlicherer Murks heraus.

Die entscheidende Frage für mich lautet nicht nur, was eine KI alles weiß. Sondern auch: Wer liest mit?

Würde ChatGPT genauso handeln wie Claude und die Polizei einschalten?

Die Antwort lautet: Ja. Wenn ein Gespräch Hinweise auf eine glaubwürdige und unmittelbar drohende schwere Gewalttat enthält, kann OpenAI die Strafverfolgungsbehörden informieren und tut dies nach eigenen Angaben in entsprechenden Fällen auch.

Dabei sollen nicht einfach einzelne verdächtige Wörter ausreichen. Vielmehr werden der Gesprächszusammenhang, mögliche Gewaltabsichten, konkrete Vorbereitungen und erkennbare Risiken berücksichtigt. Es wird – wie schon erwähnt – eine KI benötigt. Die Kette bis zur Strafverfolgungsbehörde ist fatal lang.

Ich unterhalte mich mit einer KI. Ein Sicherheitssystem muss die möglichen Gefahren erkennen. Anschließend muss ein Mensch den Sachverhalt richtig einschätzen und gegebenenfalls an die Polizei weitergeben. Dort erfolgt eine erneute Bewertung. Je nach Sachlage werden weitere Ermittlungsbehörden oder die Justiz eingeschaltet.

Das wirkt wie das Spiel „Stille Post“.

Wenn Gedanken plötzlich zur Beweissicherung werden

Menschen haben gelegentlich aggressive Gedanken, die sie niemals in die Tat umsetzen würden. Ein Tagebuch dient nicht selten gerade dazu, solche Gedanken aufzuschreiben, zu ordnen und anschließend wieder loszuwerden. Wo aber verläuft die Grenze zwischen dem gedanklichen Verarbeiten von Wut und einer ernsthaften Gewaltandrohung?

Im Fall Heller wurden die Äußerungen nach der Darstellung der Ermittlungsbehörden als hinreichend ernsthafte Bedrohung bewertet. Über ihre strafrechtliche Verantwortlichkeit muss nun die Justiz entscheiden.

Und genau hier liegt ein Problem: Sicherheitssysteme und Teams von Menschen müssen subjektiv beurteilen, ob jemand tatsächlich gefährlich ist. Eine hundertprozentig zuverlässige Erkennung gibt es nicht.

Wer zu spät eingreift, riskiert möglicherweise Menschenleben. Wer zu früh eingreift, kann harmlose oder aus dem Zusammenhang gerissene Äußerungen als Bedrohung behandeln.

ChatGPT ist kein rechtsfreier Beichtstuhl

OpenAI stand selbst bereits wegen des Umgangs mit gefährlichen Chatverläufen in der Kritik. Das Wall Street Journal berichtete im Jahr 2026 über Fälle, in denen Menschen vor schweren Gewalttaten mit ChatGPT kommuniziert hatten. Dabei ging es unter anderem um die Frage, ob OpenAI Warnsignale ausreichend erkannt und angemessen darauf reagiert hatte. Die Diskussion geht damit weit über den Fall einer Frau in Florida hinaus.

Sollen KI-Unternehmen eine Art digitale Frühwarnfunktion gegenüber möglichen Gewalttätern übernehmen? Oder entsteht dadurch eine Infrastruktur, in der private Gespräche systematisch auf möglicherweise strafrechtlich relevante Inhalte untersucht werden?

Beide Seiten haben gewichtige Argumente.

Wer eine konkrete Gewalttat verhindern kann, sollte entsprechende Hinweise nicht einfach ignorieren. Andererseits sollte eine private Plattform nicht darüber entscheiden können, ob jede drastische Meinungsäußerung, jede Fantasie oder jeder emotionale Ausbruch polizeiliche Aufmerksamkeit verdient.

Notwendig sind deshalb transparente Regeln, menschliche Überprüfungen, angemessene Eingriffsschwellen und wirksame Datenschutzmaßnahmen. Schöner Mist. Es braucht also wieder jede Menge Regeln, was dann in der datenschutz-typischen Regelungswut ausartet.

Ich empfehle die Einführung des Künstliche-Intelligenz-Polizeibehörden-Gefahrenfrüherkennungs-Informationsübermittlungs- und Verdachtsmeldungszuständigkeitsregelungsgesetzes, oder abgekürzt: Kurz: KI-PolGefFrühInfoÜbVerdMeldZustRegG