Book 30 minutes
← Alle FolgenListen in English

Healthy AI First · Folge 3 · 22 min

Vor dem ersten Prompt

Ein Ticket aus einem einzigen Satz, ein Agent, der in zwanzig Minuten eine saubere Löschfunktion baut, und eine Frage von Jonas, die zeigt, was der Agent dabei still entschieden hat. Gleichzeitig schreibt eine KI in Miriams Angebot einen Liefertermin, den niemand zugesagt hat. In dieser Folge geht es darum, welche Entscheidungen beim Menschen bleiben müssen und welche der Agent getrost treffen darf: tragende Wände, Türen in eine Richtung, Schlösser statt Zettel im Prompt, eine verlorene Marssonde und wie viel Planung wirklich nötig ist.

Hören auf

SpotifyApple PodcastsYouTube

Begleitdokument

Alle Studien, Quellen und Aussagen dieser Folge in einem PDF, zum Mitlesen oder späteren Nachschlagen.

Begleitdokument herunterladen (PDF)

Kapitel

  1. 0:00Einstieg
  2. 1:22Willkommen
  3. 2:23Die Liste
  4. 3:59Miriams Angebot
  5. 5:22Tragende Wände
  6. 7:11Türen in eine Richtung
  7. 9:01In eigener Sache
  8. 9:55Das Schloss an der Tür
  9. 11:16Schlösser im Werkzeug
  10. 12:53Der Anschluss ans Nachbarhaus
  11. 14:34Was bei uns bleibt
  12. 16:02Was die Hersteller raten
  13. 18:06Zwei Felder im Ticket
  14. 19:34Eure tragende Wand

Shownotes

Vorschlag für diese Woche

  • Mit Coding Agents: Vor jeder Aufgabe zwei Sätze aufschreiben. Was soll die Aufgabe ausdrücklich nicht tun? Welche Entscheidung darf der Agent hier nicht allein treffen? Nach dem Lauf fragen: "Welche Entscheidungen stecken in dieser Änderung, die nicht im Auftrag standen?"
  • Im Büro (Schreiben, Planen, Angebote): Vor dem Entwurf festlegen, welche Zahl, welcher Termin und welche Zusage auf keinen Fall von der KI kommen dürfen, und diese selbst eintragen.
  • Zählen, wie oft euch etwas einfällt: eure Zahl an tragenden Wänden.

Werkzeug-Tipp: Schlösser statt Zettel

Eine Bitte im Prompt ("ändere nichts", "erfinde keine Termine") ist keine Grenze. Was ausnahmslos gelten muss, gehört in Mechanismen, die es erzwingen:

  • Claude Code, Verbotsregeln: permissions.deny in den Einstellungen, z. B. Bash(rm *) oder Read(./.env). Reihenfolge deny, dann ask, dann allow; eine Erlaubnis kann ein Verbot nicht aufheben. Achtung laut Doku: eine Bash-Regel prüft den Befehlstext und ist keine Sicherheitsgrenze um das Programm (z. B. /bin/rm oder bash -c gehen daran vorbei); für harte Grenzen Sandboxing. https://code.claude.com/docs/en/permissions
  • Claude Code, Hook: PreToolUse läuft vor den Werkzeugaufrufen, auf die sein Matcher passt, und kann sie blockieren (Exit-Code 2 oder permissionDecision: "deny"). Zusätzliche Sicherung, keine Garantie. https://code.claude.com/docs/en/hooks
  • Cursor, Hook: beforeShellExecution läuft vor jedem Shell-Befehl und kann ihn mit permission: "deny" oder Exit-Code 2 blockieren. https://cursor.com/docs/agent/hooks
  • Codex, Rules: prefix_rule(..., decision = "forbidden") blockiert passende Befehle ohne Rückfrage (laut Doku experimentell). https://learn.chatgpt.com/docs/agent-configuration/rules.md
  • Vor allem minimale Zugangsdaten: Der Agent bekommt keine Zugangsdaten zur Produktionsdatenbank, nur zu einer Entwicklungsdatenbank mit Testdaten. Was er nicht erreichen kann, kann er nicht löschen.

Quellen

Jonas, Daniel und Miriam sind fiktive Figuren. Alle Studien und Fälle sind echt.

Mehr zum Thema

Healthy AI First ist KI-recherchiert und KI-generiert, gesprochen von einer KI-Version der Stimme von Björn und von ihm geprüft.

Ihr wollt KI in euer Team bringen?

Björn ist einer der Gründer von CLN Work. CLN Work hilft Unternehmen, KI in kleinen, überprüfbaren Schritten einzuführen: Analyse, wo echte Kapazität steckt, welche Prozesse sich automatisieren lassen und wie ihr KI im Dialog nutzt. Die Entscheidungen bleiben bei euch.

Kostenloses Gespräch buchen (30 Minuten)