Mac에서 오프라인 음성 AI는 내가 말을 끝낼 때까지 기다릴까?
Sophon-Realtime의 Apple Silicon 빌드는 기기에서 음성 대화를 처리합니다. 모의 면접으로 메모리, 응답 지연, 에코, 끼어들기를 따로 점검합니다.
식탁에 앉아 취업 면접을 연습한다고 생각해 보세요. 문제를 어떻게 풀었는지 설명하다 알맞은 단어를 찾으려고 잠깐 멈췄는데 면접관이 답이 끝난 줄 알고 끼어듭니다. 잠시 뒤 면접관의 말을 바로잡으려 해도 내 말 위로 계속 말합니다. 나중에 답변만 재생하면 훌륭하게 들리는 음성 앱에서도 두 문제가 생길 수 있습니다.
Adventists AI는 2026년 11월 13일 Sophon-Realtime의 로컬 Mac 빌드를 발표했습니다. Flash-4bit 음성 모델이 Apple Silicon의 MLX 런타임에서 실행됩니다. 프로젝트는 이 빌드의 통합 메모리로 36 GB 이상을 권장하며, 발언 차례 판단과 응답 중 끼어들기를 지원한다고 설명합니다. Mac 설치 시 약 24 GB의 모델 파일을 받습니다. 11월 14일 별도로 발표한 호스팅 API에서는 Mac 안에서 이 음성 처리 과정이 실행되지 않습니다.
궁금한 점은 네트워크 없이 전체 과정이 대화처럼 이어질지입니다. 짧은 모의 면접으로 알아볼 수 있습니다. 첫 음성 응답까지 걸리는 시간과 언제 응답을 시작할지 판단하는 일을 따로 확인하고, 모델을 실행한 상태에서 컴퓨터로 다른 일을 할 여유가 얼마나 남는지 살펴봅니다.
로컬 방식은 설치 후 기기 안에서 음성을 처리합니다. 호스팅 API는 별도의 경로를 사용합니다.
약 1초라는 수치는 어디서부터 재야 할까?
프로젝트의 Mac 모델 카드에는 메모리 36 GB인 M4 Max에서 사용자의 발언이 끝났다고 모델이 확신할 때, 말이 멈춘 뒤 첫 음성이 나오기까지 0.9~1.1초가 걸렸다고 나옵니다. 판단에 시간이 더 필요할 때는 약 2.5초까지 기다렸습니다. 프로젝트가 해당 설정에서 얻은 결과입니다. 재현하기 전에 ‘말이 멈춘 시점’부터 정해야 합니다. 녹음에서는 마지막으로 들리는 음절을 표시할 수 있습니다. 시스템은 입력 차례가 끝난 시점을 자체적으로 판단합니다. 사람에게 자연스러운 쉼이 두 시점 사이에 있을 수 있습니다.
첫 음성 지연에는 발언을 마친 때부터 모델의 출력이 실제로 들릴 때까지의 모든 과정이 들어갑니다. 때로는 모델이 처리하느라 지연되고, 때로는 사용자의 발언이 끝났는지 확인하는 데 시간이 듭니다. 빠른 모델도 침묵을 너무 일찍 답변의 끝으로 받아들이면 쉼마다 끼어들 수 있습니다. 반대로 불확실한 순간에 조금 더 기다리는 시스템이 더 자연스러울 수 있죠. 초시계만으로 어느 쪽이 더 나았는지 알 수는 없습니다.
‘왜 캐싱을 선택했나요?’라는 질문을 예로 들어보죠. 짧고 분명하게 답을 끝내고 앱의 반응을 기다립니다. 두 번째는 ‘저희가 캐싱을 선택한 이유는…’이라고 말한 뒤 잠시 쉬었다 이어갑니다. 세 번째는 가까이서 선풍기를 켜고 같은 답을 합니다. 첫 시험의 응답 시간이 같아도 나머지 두 시험에서는 크게 실패할 수 있습니다. 적절한 순간에 응답을 시작했는지 확인한 뒤 시간을 비교하세요.
| 대화 상황 | 기록할 내용 | 확인하려는 점 |
|---|---|---|
| 답을 분명하게 마침 | 마지막 음절에서 첫 음성 응답까지 걸린 시간 | 말이 끝난 뒤 느리게 반응하는지 |
| 문장 중간에 잠시 멈춤 | 앱이 기다렸는지 답을 시작했는지 | 잠깐의 침묵을 발언권을 넘긴 것으로 해석하는지 |
| 재생 중 정정함 | 모델의 말이 멈출 때까지의 시간과 정정 내용의 이해 여부 | 사용자가 다시 발언권을 가져올 수 있는지 |
| 마이크가 재생음을 수음함 | 앱이 자기 목소리에 응답하거나 같은 문구가 반복되는지 | 실제 방에서 에코가 어떻게 나타나는지 |
집에서도 자기 목소리로 측정할 수 있는 항목입니다. 수치와 함께 시험 조건을 기록하세요. 스피커와 헤드폰에서는 에코가 전달되는 방식이 다릅니다. 선풍기를 켜는 시험은 실용적인 부하 시험이며 표준화된 음성 벤치마크는 아닙니다. 통제하지 않은 방 안의 시험으로 서버급 지연 시간을 비교할 수는 없습니다.
끼어들기는 두 가지를 따로 봐야 한다
Sophon은 Mac 빌드가 전이중 통신을 지원하며 응답 중 사용자 개입과 에코 제거 기능이 있다고 설명합니다. 대화 중 끼어들기가 유용하려면 출력이 멈춰야 하고 새로 전달한 내용도 이후 응답에 반영돼야 합니다. ‘죄송해요, 화요일이었어요’라고 했을 때 앱이 즉시 조용해지더라도 요일을 여전히 목요일로 해석한다면 반만 해결한 셈입니다.
모의 면접에서 긴 후속 설명을 요청한 뒤 ‘잠깐만요. 제가 말하는 건 데이터베이스 이전이에요. 고객 대상 출시는 아니에요’라고 끼어들어 보세요. 응답이 멈추는지, 앱이 정정을 확인하는지, 실제로 다음 질문에 정정 내용을 반영하는지 적습니다. 의미 있는 정정과 기침 같은 짧은 소리도 각각 시험합니다. 앱이 둘을 항상 똑같이 처리할 필요는 없습니다. 첫 시험만 통과하면 실제 장소에서 얼마나 쉽게 출력을 중단시키는지 알기 어렵습니다.
에코는 끼어들기와 별개입니다. 헤드폰을 쓸 때와 스피커를 듣기 편한 크기로 켰을 때 각각 두 기능을 확인하세요. 앱이 자기 확인 응답을 다시 듣고 새 녹음 차례를 시작한다면 작은 모델로 바꾸는 것보다 마이크의 위치나 에코 처리 방식을 조정하는 편이 효과적일 수 있습니다. 하드웨어, 모델, 오디오 설정을 한 시험에서 동시에 바꾸지 않습니다. 그래야 다음 시험에서 좋아지거나 나빠진 이유를 설명할 수 있습니다.
잠시 쉬는 상황과 의도적으로 정정하는 상황을 따로 시험하세요. 둘 다 침묵을 포함할 수 있지만 앱은 그에 맞게 반응해야 합니다.
Mac에서는 메모리가 사용 경험을 좌우한다
Mac 설치 안내는 Apple Silicon에서 MLX를 쓰는 절차를 설명하고 통합 메모리 36 GB 이상을 권장합니다. 약 24 GB는 다운로드 파일의 저장 용량입니다. 실제로 실행 중 사용하는 메모리가 정확히 24 GB라는 뜻은 아닙니다. 모델, 캐시, 오디오 처리, 다른 앱이 실행 중에 함께 자원을 사용합니다.
처음에는 메모리를 많이 쓰는 앱을 닫고 짧은 대화문을 사용합니다. 활성 상태 보기에서 메모리 압력과 실행 중 스왑이 늘어나는지 관찰합니다. 그다음 음성 도우미와 실제로 함께 쓸 앱을 열고 다시 실행합니다. 모델이 실행되더라도 메모리 압력이 커지거나 재생이 끊기면 일상적으로 쓰기 어렵습니다. 가장 사양이 낮은 실행 가능 기기를 권장 사양으로 해석하기보다 편하게 쓸 환경을 찾는 것이 목적입니다.
프로젝트는 11월 16일 소비자용 GPU를 위한 별도의 4B 버전도 발표했습니다. 릴리스 노트는 이 GPU 방식을 32B Flash-4bit MLX Mac 빌드와 구분해서 소개합니다. 다른 백엔드에서 VRAM이 덜 필요하다고 Mac 권장 사양이 바뀌지는 않습니다. 호스팅 API, 서버 GPU, 로컬 MLX 수치 역시 모델과 트래픽 조건이 서로 다릅니다. 저장소의 수치를 해석하기 전에 어떤 방식으로 실행할지 정하세요.
음성 기능을 평가할 때는 공식적으로 지원하는 언어를 확인합니다. 저장소에는 한국어를 지원할 예정이라고 나와 있습니다. 다국어 모델이라는 이유만으로 여러 언어의 음성, 인식, 발언 차례 판단이 똑같이 동작할 것으로 가정하지 말고, 처음에는 영어처럼 문서상 지원 언어를 사용하세요. 한국어 모의 면접이 필요하다면 현재 빌드로 대화 시험 방법은 배울 수 있지만 한국어 지원 여부는 별도로 검증해야 합니다.
다운로드가 끝난 뒤 오프라인 동작을 시험한다
Mac 안내에 따라 프로젝트의 의존성 파일과 모델 가중치를 받으려면 처음에는 네트워크가 필요합니다. 프로젝트가 제공한 절차를 따르고 설치 스크립트를 실행하기 전 내용을 확인합니다. 로컬 파일의 저장 위치도 파악해 둡니다. 기기의 마이크 권한은 모델 설치와 별개입니다. 사용 권한이 있는 음성으로 시작하고, 다른 사람의 음성은 동의 없이 녹음하지 않습니다.
- Mac 설치 안내를 따릅니다. 가능하면 사용할 프로젝트 버전을 고정합니다. 필요한 파일을 모두 내려받은 뒤 연결된 상태에서 지원 언어로 짧은 대화를 한 번 시험합니다.
- 설치가 끝나면 네트워크를 끊습니다. 새 로컬 세션을 시작하고, 새로 말한 질문에 캐시된 예시가 아닌 새 답변이 나오는지 확인합니다.
- 같은 마이크와 스피커 설정에서 완결된 답변, 문장 중간의 쉼, 정정을 각각 몇 번 시험합니다. 기기의 모델과 메모리, 오류, 측정 시간을 적습니다.
- 평소 쓰는 앱을 연 상태에서 시험 일부를 반복합니다. 지연이나 음성이 나빠지면 결론을 내리기 전에 메모리 압력과 달라진 시험 조건을 확인합니다.
11월 14일 호스팅 API 발표를 계기로 개발자는 로컬 모델을 설치하지 않고도 프로젝트를 시험할 수 있게 됐습니다. 대화 방식을 비교하거나 연동을 개발할 때 유용합니다. 이 방식에서는 앱이 서비스에 음성을 전송하며, 해당 서비스의 개인정보 처리 조건과 네트워크 조건이 적용됩니다. 호스팅 서비스와 Mac 명령줄 도구 사이의 차이는 같은 스크립트가 시작되는지에 그치지 않습니다.
오프라인으로 사용하면 기기 밖으로 나가는 정보를 줄일 수 있습니다. 민감한 이야기를 연습하거나 불안정한 연결에서도 작동해야 하는 시제품을 만들 때 중요한 점이죠. 오프라인 작동이 디스크에 아무것도 쓰지 않는다는 보장은 아닙니다. 녹음, 전사, 로그를 포함해 사용하는 클라이언트의 동작을 확인합니다. 연결을 끊은 시험은 네트워크 없이 대화할 수 있는지 보여주며, 미래 앱의 모든 개인정보 보호 특성을 입증하지는 않습니다.
두 번째 예시는 음성으로 양식을 작성하는 시제품입니다. 사용자에게 질문 네 개를 하고 다음으로 넘어가기 전에 마지막 답을 정정할 수 있게 한다고 해보죠. 앱은 음성 모델이 가장 최근에 해석한 내용과 사용자가 확정한 답을 각각 보관해야 합니다. 재생 중에 정정이 들어오면 정정 내용을 이해한 뒤에만 해당 필드를 갱신합니다. 손을 쓰지 않는 음성 대화는 이용을 편하게 만들 수 있지만, 초안이 언제 공식 기록이 되는지는 앱이 결정합니다.
두 빌드를 비교한다면 실행 전에 통과 조건을 적습니다. 예정된 쉼이 끝날 때까지 기다리고, 실제 정정이 들어오면 재생을 멈추며, 수정된 내용을 바탕으로 다음 질문을 한다는 식입니다. 끝까지 완료한 시험 횟수를 따로 적고 비교할 수 있는 반복 시험이 충분하다면 측정 시간의 중앙값과 범위를 사용합니다. 가장 매끄러운 대화만 고르지 말고 재시도도 기록합니다. 집에서 하는 작은 시험에서는 평균 하나보다 실패한 개별 발언 차례가 더 많은 단서를 줄 수 있습니다.
오프라인과 온라인을 비교할 때도 같은 작업에 집중합니다. 음성을 로컬에서 처리할 메모리가 부족한 시제품에는 호스팅 서비스가 비교 기준이 될 수 있습니다. 두 방식의 음성, 발언 차례 설정, 모델, 기기 접근 권한이 다르면 그 차이를 적습니다. 한 방식의 지연이 더 짧다고 해서 사용자가 머뭇거리거나 인터넷 연결이 끊겼을 때도 더 적합하다는 결론은 나오지 않습니다. 결과는 지금 만드는 앱의 판단 자료로 씁니다.
시제품에는 문제가 생겼을 때 되돌아갈 방법도 필요합니다. 사용자가 음성 도우미를 멈춘 뒤 아무 말도 하지 않는다고 해보죠. 짧은 시각 신호나 로컬 상태 표시로 시스템이 멈춘 게 아니라 듣고 있음을 알릴 수 있습니다. 오디오 기기의 연결을 해제하거나 메모리 압력으로 모델이 종료됐다면 다음 세션을 시작하기 전에 앱이 정상 대기 상태로 돌아오는지 확인합니다. 복구 시간은 응답 지연과 따로 잽니다. 정상적인 대화에서 빠르더라도 흐름이 어긋났을 때 복구하지 못하면 사용하기 불편합니다.
좋은 로컬 면접은 말하는 사람에게 여유를 준다
가장 많은 것을 알려주는 시험은 1분도 걸리지 않을 수 있습니다. 답을 시작하고, 잠깐 쉬고, 말을 끝냅니다. 도우미가 답하기 시작하면 아직 말하는 도중에 내용을 하나 고칩니다. 각 순간에 기대한 대로 반응하면 음성은 오디오 파일의 연속을 넘어 쓸 만한 인터페이스가 됩니다. 메모리가 충분한 사용자라면 Mac 빌드로 로컬에서 직접 확인해 볼 수 있습니다. 결과는 기기와 언어, 시험 공간, 사용한 소프트웨어에 따라 달라집니다.
출처
면접 질문, 연습 기록, 로컬 시험에서 관찰한 내용을 한곳에 모아 보세요. Telli.sh에서 첫 노트 시작하기.