Healthy AI First · Folge 10 · 17 min

Praxis 2, Mein Sprachassistent am Second Brain

Mit ChatGPT kann man einfach reden. Mein ganzes Setup läuft aber auf Claude, also habe ich mir einen eigenen KI-Sprachassistenten gebaut: Hall, die Stimme meines Second Brain in Obsidian. In dieser Praxisfolge zeige ich die Architektur (Turn-Erkennung, Whisper, ein lokales Modell über Ollama, Claude als Helfer, Qwen-TTS), echte Messwerte zu Latenz und Kosten, den Vergleich lokal gegen Gemini Live als Speech-to-Speech und acht Bauregeln für euren eigenen Sprachassistenten. Vor allem: Freigaben gehören in den Code, nicht in den Prompt.

Begleitdokument

Alle Studien, Quellen und Aussagen dieser Folge in einem PDF, zum Mitlesen oder späteren Nachschlagen.

Begleitdokument herunterladen (PDF)

Kapitel

  1. 0:00Einstieg
  2. 1:25Willkommen
  3. 2:14Warum selbst bauen
  4. 3:29Architektur
  5. 5:16Latenzbudget
  6. 6:38Turn-Erkennung und Echo
  7. 7:40Sprechregeln
  8. 8:42In eigener Sache
  9. 9:38Code statt Prompt
  10. 10:59Unterschrift statt Okay
  11. 12:27Testen mit echten Sätzen
  12. 13:18Lokal gegen Cloud
  13. 14:50Bauplan
  14. 15:59Ende

Shownotes

Hinweis zu den Daten

Alle Daten im Video (Aufgaben, Namen, Nachrichten) sind erfunden; der Aufbau ist echt. Die Szene im Garten ist nachgestellt, den Seufzer gab es bei einem Test am Abend.

Acht Bauregeln

  • Namen vor Modellgröße: Bringt der Spracherkennung euren Wortschatz bei, bevor ihr größere Modelle ausprobiert.
  • Bis zum Ohr messen: Zählt die Zeit bis zum ersten hörbaren Ton, nicht bis zum ersten Token, und streamt Satz für Satz.
  • Pausen und Echo einplanen: Turn-Erkennung und Echo sind eigene Bausteine.
  • Sprechen ist Produktdesign: Antwort zuerst, kurz, keine Gegenfrage am Ende; die wichtigsten Regeln zusätzlich im Code durchsetzen.
  • Code statt Prompt: Was verlässlich sein muss, gehört in Code. Ob etwas geklappt hat, entscheidet das Ergebnis des Werkzeugs, nicht der Satz des Modells.
  • Unterschrift statt Okay: Freigaben gehören in den Code. Vorschau in einem Satz, nur ein klares Ja zählt, Nachrichten an Menschen sendet ihr selbst. Vorgelesene Mails, Webseiten oder Agenten-Antworten sind Material, kein Auftrag.
  • Echte Sätze als Test: Prüft mit Sätzen, die ihr wirklich sagt, auch den genervten, und zwar vor jedem Neustart.
  • Messen statt glauben: Lokal oder Cloud entscheidet die Messung.

Technik im Überblick

  • Ohren: ein kleines Turn-Modell (Smart Turn von Pipecat, etwa 8 Millionen Parameter) entscheidet bei kurzen Pausen, ob ein Satz fertig ist, und wartet bei unfertigen Sätzen bis zu 3 Sekunden; davor galten 700 ms Stille als Satzende. Danach schreibt Whisper (große Version) lokal mit, mit einer Namensliste aus dem eigenen Alltag.
  • Kopf: ein Qwen-Modell mit 9 Milliarden Parametern über Ollama, gut dreißig Werkzeuge (Obsidian durchsuchen und lesen, Kalender, Aufgaben, Wetter, Websuche). Die Suche verbindet Volltext und Bedeutungssuche über rund 1.600 Notizen. Bei häufigen, eindeutigen Fragen wählt fester Code das Werkzeug vor. Fragen mit mehreren Quellen, einem Dokument oder einem Urteil gehen an Claude als Helfer.
  • Stimme: Qwen-TTS, lokal, Ausgabe Satz für Satz. Lange Antworten erscheinen als Karte in der eigenen iPhone-App.
  • Latenz: erste Version mit einem vollen Claude-Aufruf pro Frage 19 bis 35 Sekunden; heute meist 1 bis 2,5 Sekunden nach erkanntem Satzende. Ohren und Stimme belegen rund 7 GB, das Sprachmodell etwa 9 GB; sie werden erst beim Gesprächsbeginn geladen (erste Antwort knapp 9 Sekunden). Gemessen auf einem Mac mini mit 64 GB.
  • Echo: Im Browser hört Hall nicht zu, während er spricht; die eigene iPhone-App nutzt die Echo-Unterdrückung des Telefons.
  • Tests: 84 Prüfszenarien, 139 echte Sätze und 16 Gespräche über mehrere Runden, vor jedem Neustart.
  • Köpfe im Vergleich (84 Szenarien): lokales Qwen 76, Claude Sonnet 75, Claude Haiku (schnelle Variante) 66.
  • Speech-to-Speech zum Vergleich: Gemini Live; Werkzeuge bleiben auf dem eigenen Rechner, Freigaben entscheidet der eigene Code. In einem kurzen Test im Mittel rund 1,5 Sekunden Antwortzeit, etwa 11 bis 12 Cent pro Gesprächsminute.

Quellen

Latenzbudget

Turn-Erkennung

Architektur

Unterschrift statt Okay

Lokal gegen Cloud

Warum selbst bauen

Healthy AI First ist KI-recherchiert und KI-generiert, gesprochen von einer KI-Version meiner Stimme und von mir (Björn) geprüft.

Ihr wollt KI in euer Team bringen?

Björn ist einer der Gründer von CLN Work. CLN Work hilft Unternehmen, KI in kleinen, überprüfbaren Schritten einzuführen: Analyse, wo echte Kapazität steckt, welche Prozesse sich automatisieren lassen und wie ihr KI im Dialog nutzt. Die Entscheidungen bleiben bei euch.

Kostenloses Gespräch buchen (30 Minuten)