Healthy AI First · Folge 10 · 17 min
Praxis 2, Mein Sprachassistent am Second Brain

Mit ChatGPT kann man einfach reden. Mein ganzes Setup läuft aber auf Claude, also habe ich mir einen eigenen KI-Sprachassistenten gebaut: Hall, die Stimme meines Second Brain in Obsidian. In dieser Praxisfolge zeige ich die Architektur (Turn-Erkennung, Whisper, ein lokales Modell über Ollama, Claude als Helfer, Qwen-TTS), echte Messwerte zu Latenz und Kosten, den Vergleich lokal gegen Gemini Live als Speech-to-Speech und acht Bauregeln für euren eigenen Sprachassistenten. Vor allem: Freigaben gehören in den Code, nicht in den Prompt.
Hören auf
Begleitdokument
Alle Studien, Quellen und Aussagen dieser Folge in einem PDF, zum Mitlesen oder späteren Nachschlagen.
Begleitdokument herunterladen (PDF)Kapitel
- 0:00Einstieg
- 1:25Willkommen
- 2:14Warum selbst bauen
- 3:29Architektur
- 5:16Latenzbudget
- 6:38Turn-Erkennung und Echo
- 7:40Sprechregeln
- 8:42In eigener Sache
- 9:38Code statt Prompt
- 10:59Unterschrift statt Okay
- 12:27Testen mit echten Sätzen
- 13:18Lokal gegen Cloud
- 14:50Bauplan
- 15:59Ende
Shownotes
Hinweis zu den Daten
Alle Daten im Video (Aufgaben, Namen, Nachrichten) sind erfunden; der Aufbau ist echt. Die Szene im Garten ist nachgestellt, den Seufzer gab es bei einem Test am Abend.
Acht Bauregeln
- Namen vor Modellgröße: Bringt der Spracherkennung euren Wortschatz bei, bevor ihr größere Modelle ausprobiert.
- Bis zum Ohr messen: Zählt die Zeit bis zum ersten hörbaren Ton, nicht bis zum ersten Token, und streamt Satz für Satz.
- Pausen und Echo einplanen: Turn-Erkennung und Echo sind eigene Bausteine.
- Sprechen ist Produktdesign: Antwort zuerst, kurz, keine Gegenfrage am Ende; die wichtigsten Regeln zusätzlich im Code durchsetzen.
- Code statt Prompt: Was verlässlich sein muss, gehört in Code. Ob etwas geklappt hat, entscheidet das Ergebnis des Werkzeugs, nicht der Satz des Modells.
- Unterschrift statt Okay: Freigaben gehören in den Code. Vorschau in einem Satz, nur ein klares Ja zählt, Nachrichten an Menschen sendet ihr selbst. Vorgelesene Mails, Webseiten oder Agenten-Antworten sind Material, kein Auftrag.
- Echte Sätze als Test: Prüft mit Sätzen, die ihr wirklich sagt, auch den genervten, und zwar vor jedem Neustart.
- Messen statt glauben: Lokal oder Cloud entscheidet die Messung.
Technik im Überblick
- Ohren: ein kleines Turn-Modell (Smart Turn von Pipecat, etwa 8 Millionen Parameter) entscheidet bei kurzen Pausen, ob ein Satz fertig ist, und wartet bei unfertigen Sätzen bis zu 3 Sekunden; davor galten 700 ms Stille als Satzende. Danach schreibt Whisper (große Version) lokal mit, mit einer Namensliste aus dem eigenen Alltag.
- Kopf: ein Qwen-Modell mit 9 Milliarden Parametern über Ollama, gut dreißig Werkzeuge (Obsidian durchsuchen und lesen, Kalender, Aufgaben, Wetter, Websuche). Die Suche verbindet Volltext und Bedeutungssuche über rund 1.600 Notizen. Bei häufigen, eindeutigen Fragen wählt fester Code das Werkzeug vor. Fragen mit mehreren Quellen, einem Dokument oder einem Urteil gehen an Claude als Helfer.
- Stimme: Qwen-TTS, lokal, Ausgabe Satz für Satz. Lange Antworten erscheinen als Karte in der eigenen iPhone-App.
- Latenz: erste Version mit einem vollen Claude-Aufruf pro Frage 19 bis 35 Sekunden; heute meist 1 bis 2,5 Sekunden nach erkanntem Satzende. Ohren und Stimme belegen rund 7 GB, das Sprachmodell etwa 9 GB; sie werden erst beim Gesprächsbeginn geladen (erste Antwort knapp 9 Sekunden). Gemessen auf einem Mac mini mit 64 GB.
- Echo: Im Browser hört Hall nicht zu, während er spricht; die eigene iPhone-App nutzt die Echo-Unterdrückung des Telefons.
- Tests: 84 Prüfszenarien, 139 echte Sätze und 16 Gespräche über mehrere Runden, vor jedem Neustart.
- Köpfe im Vergleich (84 Szenarien): lokales Qwen 76, Claude Sonnet 75, Claude Haiku (schnelle Variante) 66.
- Speech-to-Speech zum Vergleich: Gemini Live; Werkzeuge bleiben auf dem eigenen Rechner, Freigaben entscheidet der eigene Code. In einem kurzen Test im Mittel rund 1,5 Sekunden Antwortzeit, etwa 11 bis 12 Cent pro Gesprächsminute.
Quellen
Latenzbudget
- Levinson, S. C. und Torreira, F. (2015): Timing in turn-taking and its implications for processing models of language. Frontiers in Psychology 6:731. Gesprächspausen von etwa 200 ms. https://www.frontiersin.org/articles/10.3389/fpsyg.2015.00731/full
- Stivers, T. et al. (2009): Universals and cultural variation in turn-taking in conversation. PNAS 106(26). https://pubmed.ncbi.nlm.nih.gov/19553212/
Turn-Erkennung
- Pipecat Smart Turn (Open Source). https://github.com/pipecat-ai/smart-turn
Architektur
- Whisper: Radford, A. et al. (2022): Robust Speech Recognition via Large-Scale Weak Supervision. https://arxiv.org/abs/2212.04356
- Qwen3-TTS (Open Source). https://github.com/QwenLM/Qwen3-TTS
- Ollama. https://ollama.com
Unterschrift statt Okay
- OWASP Top 10 for LLM Applications 2025, LLM01 Prompt Injection. https://genai.owasp.org/llm-top-10/
Lokal gegen Cloud
- Gemini Live API, Dokumentation. https://ai.google.dev/gemini-api/docs/live-api
Warum selbst bauen
- Hermes Agent, Dokumentation. https://hermes-agent.nousresearch.com/docs
Healthy AI First ist KI-recherchiert und KI-generiert, gesprochen von einer KI-Version meiner Stimme und von mir (Björn) geprüft.
Ihr wollt KI in euer Team bringen?
Björn ist einer der Gründer von CLN Work. CLN Work hilft Unternehmen, KI in kleinen, überprüfbaren Schritten einzuführen: Analyse, wo echte Kapazität steckt, welche Prozesse sich automatisieren lassen und wie ihr KI im Dialog nutzt. Die Entscheidungen bleiben bei euch.
Kostenloses Gespräch buchen (30 Minuten)