Local AI9 Min. Lesezeit

Kann eine Sprach-KI auf dem Mac offline warten, bis du fertig bist?

Sophon-Realtime verarbeitet Sprache auf Macs mit Apple-Chip lokal. In einem Probeinterview lassen sich Speicherbedarf, Reaktionszeit, Echo und Unterbrechungen getrennt untersuchen.

K
Ken Jo

Stell dir vor, du übst am Küchentisch für ein Vorstellungsgespräch. Gerade erklärst du, wie du ein Problem gelöst hast, und hältst kurz inne, um das richtige Wort zu finden. Dein Gegenüber fällt dir ins Wort, als wärst du fertig. Wenig später willst du es korrigieren, doch es redet einfach weiter. Beides kann in einer Sprach-App passieren, deren Antworten bei der späteren Wiedergabe ausgezeichnet klingen.

Am 13. November 2026 kündigte Adventists AI eine lokale Mac-Version von Sophon-Realtime an. Sie kombiniert das Sprachmodell Flash-4bit mit Apples MLX-Laufzeitumgebung auf Apple Silicon. Das Projekt empfiehlt mindestens 36 GB gemeinsamen Arbeitsspeicher, nennt den Sprecherwechsel und die Möglichkeit zum Unterbrechen als Funktionen und gibt für die Mac-Einrichtung einen Download von rund 24 GB an Modelldateien an. Die separat am 14. November angekündigte gehostete API führt diesen Sprachdialog nicht auf deinem Mac aus.

Interessant ist, ob sich der gesamte Ablauf ohne Netzwerk wie ein Gespräch anfühlt. Das kannst du in einem kurzen Probeinterview prüfen. Trenne die Wartezeit bis zum ersten gesprochenen Laut von der Entscheidung, wann die App überhaupt sprechen sollte. Prüfe anschließend, wie viele Ressourcen das Modell für andere Arbeiten am Rechner übrig lässt.

Beispielhafter Sprachdialog über Mikrofon, lokale MLX-Verarbeitung und Lautsprecher

Nach der Einrichtung bleibt die Audioverarbeitung lokal auf dem Gerät. Die gehostete API arbeitet getrennt davon auf einem Server.

Wie misst du die geschätzte Sekunde?

Für einen M4 Max mit 36 GB nennt die Modellkarte zur Mac-Version 0,9 bis 1,1 Sekunden bis zur ersten hörbaren Ausgabe nach dem Sprechen, wenn das Modell sicher ist, dass der Beitrag beendet ist. Braucht es länger für diese Entscheidung, nennt das Projekt Wartezeiten von bis zu etwa 2,5 Sekunden. Das sind die Angaben der Entwickler für diesen Aufbau. Lege vor einer Wiederholung fest, was „fertig gesprochen“ bedeutet. Auf einer Aufnahme kannst du die letzte hörbare Silbe markieren. Das System entscheidet selbst, wann der Beitrag zu Ende ist. Zwischen beiden Zeitpunkten kann eine Pause liegen, die für einen Menschen völlig normal klingt.

Die Wartezeit bis zum ersten Ton umfasst alles zwischen dem Ende deiner Äußerung und dem Beginn der hörbaren Ausgabe. Manchmal benötigt das Modell Zeit zur Berechnung. Manchmal wartet das System, um zu entscheiden, ob du schon fertig bist. Selbst ein schnelles Modell kann dir bei jeder Pause ins Wort fallen, wenn es Schweigen zu früh als Ende wertet. Ein gut abgestimmtes System wartet womöglich etwas länger, wenn der Übergang unklar ist. Die Stoppuhr allein zeigt nicht, welches Gespräch angenehmer war.

Nimm die Frage „Warum haben Sie sich für Caching entschieden?“ Antworte beim ersten Mal kurz, bring den Satz klar zu Ende und lass die App antworten. Sag beim zweiten Mal „Wir haben uns für Caching entschieden, weil …“, und warte kurz, bevor du weitersprichst. Gib beim dritten Mal dieselbe Antwort bei laufendem Ventilator. Eine App kann im ersten Versuch schnell sprechen und in den anderen beiden versagen. Vergleiche die Zeit erst, nachdem du geprüft hast, ob sie im richtigen Moment angefangen hat.

GesprächssituationWas du beobachten solltestWarum es zählt
Eine eindeutig abgeschlossene AntwortZeit von der letzten Silbe bis zur ersten hörbaren AntwortZeigt, ob nach einer fertigen Antwort eine lange Wartezeit entsteht
Eine Pause mitten im SatzWartet der Assistent, oder antwortet er bereits?Zeigt, ob das System Schweigen als Aufforderung zum Sprechen deutet
Eine Korrektur während der WiedergabeWie schnell stoppt die Ausgabe, und wird die Korrektur verstanden?Prüft, ob du wieder zu Wort kommst
Das Mikrofon nimmt den Lautsprecher aufLöst die Wiedergabe eine neue Antwort oder wiederholten Text aus?Zeigt, wie sich Echo im tatsächlichen Raum auswirkt

Das kannst du zu Hause mit deiner eigenen Stimme beobachten. Gib zu den Zahlen immer die Bedingungen an. Über Lautsprecher kann das Signal anders zurück ins Mikrofon gelangen als mit Kopfhörern. Der laufende Ventilator ist ein praxisnaher Belastungstest und erfüllt keine standardisierten Benchmarkbedingungen. Aus einem unkontrollierten Zimmertest lässt sich kein Vergleich der Latenz mit Serversystemen ableiten.

Beim Unterbrechen müssen zwei Dinge klappen

Für die Mac-Version nennt Sophon Vollduplexbetrieb, die Möglichkeit zum Unterbrechen und Echounterdrückung. Damit eine Unterbrechung im Gespräch hilft, muss die Ausgabe stoppen und die neue Information im Dialog erhalten bleiben. Wird es nach „Entschuldigung, ich meinte Dienstag“ sofort still, der Assistent arbeitet aber gedanklich weiter mit Donnerstag, ist nur die erste Hälfte gelöst.

Bitte im Probeinterview um eine längere Rückfrage. Sag dann „Moment, es geht um die Datenbankmigration, nicht um den Produktstart beim Kunden.“ Beobachte, ob die Ausgabe stoppt, ob die App deine Korrektur bestätigt und ob sie in der nächsten tatsächlich gestellten Frage berücksichtigt wird. Unterbrich einmal mit einer inhaltlichen Korrektur und einmal mit einem kurzen Geräusch wie einem Husten. Die App kann beide Signale unterschiedlich behandeln. Klappt nur der erste Test, kann leicht unbemerkt bleiben, wie oft die Wiedergabe im normalen Raum abbricht.

Echo ist ein eigenes Problem. Teste mit Kopfhörern und bei angenehmer Lautsprecherlautstärke. Löst eine kurze Bestätigung des Assistenten selbst eine neue Aufnahme aus, hilft womöglich eine andere Mikrofonposition oder Echounterdrückung mehr als ein kleineres Modell. Ändere pro Versuch möglichst nur eine Einstellung an Hardware, Modell oder Audio. Dann kannst du erklären, warum der nächste Durchlauf besser oder schlechter läuft.

Drei beispielhafte Gesprächssituationen mit kurzer Pause, Bestätigung und Unterbrechung

Prüfe eine Pause und eine absichtliche Korrektur getrennt. In beiden Fällen kann es kurz still werden. Die App sollte dennoch unterschiedlich reagieren.

Auf dem Mac entscheidet der Arbeitsspeicher über die praktische Nutzung mit

Die Mac-Installationsanleitung dokumentiert die Nutzung von MLX auf Apple Silicon und empfiehlt mindestens 36 GB gemeinsamen Arbeitsspeicher. Das Downloadvolumen von ungefähr 24 GB bezieht sich auf den Speicherplatz. Der laufende Betrieb braucht nicht zwingend genau 24 GB Arbeitsspeicher. Modell, Caches, Audioverarbeitung und andere Anwendungen teilen sich während eines Gesprächs die Ressourcen.

Schließe beim ersten Test speicherhungrige Programme und verwende ein kurzes Gesprächsskript. Beobachte in der Aktivitätsanzeige den Speicherdruck und ob die Auslagerung während des Tests zunimmt. Öffne danach die Anwendungen, die du tatsächlich zusammen mit dem Assistenten nutzen würdest, und wiederhole den Versuch. Das Modell kann zwar laden, steigender Speicherdruck oder Aussetzer bei der Wiedergabe können den Einsatz im Alltag aber erschweren. Gesucht ist eine Konfiguration, die sich angenehm nutzen lässt. Der gerade noch geeignete Rechner entspricht nicht automatisch der Empfehlung.

Am 16. November kündigte das Projekt separate 4B-Varianten für handelsübliche GPUs an. In den Versionshinweisen werden diese GPU-Varianten getrennt von der Mac-Version 32B Flash-4bit für MLX geführt. Eine niedrigere VRAM-Angabe aus einem anderen Backend ändert die Mac-Empfehlung nicht. Die Zahlen für gehostete API, Server-GPUs und lokales MLX beziehen sich außerdem auf unterschiedliche Modelle und Lastbedingungen. Wähle zuerst die Variante, die du tatsächlich nutzen möchtest, und lies dann die passenden Angaben im Repository.

Bei Sprachanwendungen zählt auch, welche Sprachen offiziell unterstützt werden. Koreanisch ist im Repository als geplant aufgeführt. Beginne den Versuch mit einer dokumentierten Sprache, etwa Englisch. Stimmen, Spracherkennung und Sprecherwechsel können je nach Sprache unterschiedlich gut funktionieren, auch bei einem mehrsprachigen Modell. Für ein koreanisches Probeinterview kann die aktuelle Version zeigen, wie man den Gesprächsablauf prüft. Koreanisch muss nach der Freigabe eigens getestet werden.

Den Offline-Test machst du nach dem Download

Für die Einrichtung brauchst du zunächst eine Verbindung, um Abhängigkeiten und Modellgewichte aus der Mac-Anleitung herunterzuladen. Halte dich an die Schritte des Projekts, prüfe die Skripte vor der Installation und kläre, wo lokale Dateien abgelegt werden. Für das Mikrofon gelten eigene Berechtigungen. Beginne mit Audio, über das du selbst verfügst, und nimm andere nur mit ihrer Zustimmung auf.

  1. Folge der Mac-Anleitung und nutze, wenn möglich, eine festgelegte Projektversion. Warte, bis die dokumentierten Downloads fertig sind, und teste ein Gespräch in einer unterstützten Sprache, solange du online bist.
  2. Trenne nach abgeschlossener Einrichtung die Netzwerkverbindung. Starte eine neue lokale Sitzung und prüfe, ob neue gesprochene Fragen auch neue Antworten statt gespeicherter Beispiele erhalten.
  3. Teste mehrere vollständige Antworten, Satzpausen und Korrekturen mit unveränderten Mikrofon- und Lautsprechereinstellungen. Notiere Gerätemodell, Arbeitsspeicher, Fehler und gemessene Zeiten.
  4. Wiederhole einen kurzen Ausschnitt mit deinen üblichen Anwendungen im Hintergrund. Steigt die Latenz oder wird die Wiedergabe schlechter, prüfe zuerst den Speicherdruck und die Unterschiede zwischen den Versuchen.

Die Ankündigung der gehosteten API vom 14. November bietet Entwicklern einen Zugang ohne lokale Modelleinrichtung. Das ist für Vergleichstests und bei der Entwicklung einer Integration hilfreich. Auf diesem Weg sendet die Anwendung Audio an einen Dienst, für den eigene Datenschutz- und Netzwerkbedingungen gelten. Der Wechsel zwischen gehostetem Dienst und Mac-Kommandozeile ändert mehr, als ob dasselbe Skript startet.

Offline zu arbeiten kann reduzieren, was das Gerät verlässt. Das zählt etwa, wenn du eine vertrauliche Geschichte einübst oder einen Prototyp für eine unzuverlässige Verbindung baust. Dateien können dennoch lokal gespeichert werden. Prüfe das Verhalten des eingesetzten Clients bei Aufnahmen, Transkripten und Protokollen. Ein Versuch ohne Netz zeigt, ob das Gespräch offline funktioniert. Die weiteren Datenschutzeigenschaften einer späteren App müssen separat geprüft werden.

Ein zweiter Anwendungsfall ist ein sprachgesteuerter Formularprototyp. Angenommen, eine Person beantwortet vier Fragen und darf den letzten Eintrag korrigieren, bevor es weitergeht. Die App sollte die bestätigte Antwort zusätzlich zur jüngsten Auslegung des Sprachmodells speichern. Kommt mitten in der Wiedergabe eine Korrektur, sollte das richtige Feld erst aktualisiert werden, wenn die Änderung verstanden wurde. Ein Sprachdialog ohne Tastatur erleichtert die Bedienung. Wann ein Antwortentwurf verbindlich gespeichert wird, entscheidet weiterhin die Anwendung.

Lege vor dem Vergleich zweier Versionen die Erfolgskriterien fest. Zum Beispiel zählt es als Erfolg, wenn die App die geplante Pause abwartet, bei einer echten Korrektur die Wiedergabe stoppt und anschließend nach dem korrigierten Thema fragt. Halte die Zahl abgeschlossener Durchläufe fest. Bei genügend vergleichbaren Wiederholungen kannst du Median und Spannweite der Zeiten angeben. Protokolliere Fehlversuche und Wiederholungen, damit nicht nur der sauberste Durchlauf übrig bleibt. Bei einem kleinen Heimtest sagen einzelne misslungene Gesprächswechsel oft mehr als ein Mittelwert.

Vergleiche Offline- und Online-Varianten bei derselben Aufgabe. Ein gehosteter Dienst eignet sich als Vergleich für einen Prototyp, dessen Rechner für lokale Sprachverarbeitung zu wenig Speicher hat. Wenn sich Stimme, Sprecherwechselkonfiguration, Modell und Gerätezugriff unterscheiden, benenne diese Abweichungen. Ein kürzerer Messwert allein zeigt nicht, welcher Weg besser funktioniert, wenn jemand zögert oder kein Netz verfügbar ist. Die Ergebnisse helfen bei der Entwicklung deiner Anwendung, ohne eine Rangliste ergeben zu müssen.

Gib dem Prototyp auch einen klaren Weg zurück in einen benutzbaren Zustand. Vielleicht unterbricht jemand den sprechenden Assistenten und sagt dann nichts mehr. Ein kurzer visueller Hinweis oder eine lokale Statusanzeige kann zeigen, dass das System noch zuhört und nicht eingefroren ist. Wird ein Audiogerät abgezogen oder beendet sich das Modell bei hohem Speicherdruck, prüfe, ob die App vor der nächsten Sitzung in einen klar erkennbaren Ruhezustand zurückkehrt. Miss diese Erholungszeit getrennt von der normalen Antwortzeit. Sonst kann eine schnelle App ihre Stärken im Gespräch verlieren, sobald etwas Unerwartetes passiert.

Ein gutes lokales Probeinterview lässt dich ausreden

Der aufschlussreichste Test dauert womöglich weniger als eine Minute. Beginne eine Antwort, mache eine Pause, beende den Satz, lass den Assistenten sprechen und ändere ein Detail, während er noch redet. Wenn sich jeder Moment wie beabsichtigt verhält, funktioniert Sprache als Schnittstelle und wirkt nicht bloß wie eine Abfolge abgespielter Audiodateien. Die Mac-Version ermöglicht diesen Versuch lokal, sofern genug Arbeitsspeicher vorhanden ist. Das Ergebnis hängt weiterhin von Rechner, Sprache, Raum und Software ab.

Quellen


Halte deine Interviewfragen, Übungsnotizen und Beobachtungen aus dem lokalen Test zusammen fest. Erstelle deine erste Notiz mit Telli.sh.


← Zurück zum Blog