Block Dessa는 글을 읽기 전에 음성 모델이 무엇을 배울 수 있는지 묻는다

“괜찮아요”를 안도하는 목소리로 말해 보세요. 이번에는 한참 뜸을 들인 뒤 무덤덤하게 말해 보세요. 단어는 같지만 대화는 달라집니다.

Block은 2026년 10월 23일 Dessa를 소개하며 텍스트나 사전학습 모델 없이 사람의 대화로 학습한 모델이라고 설명했습니다. Square와 Cash App을 운영하는 이 회사는 Dessa를 말하면서 들을 수 있는 전이중 음성 시스템으로 소개합니다. 현재 단계는 일반적으로 사용할 수 있는 음성 API가 아니라 공개 녹음과 제한적인 안전 연구 접근을 제공하는 연구 프리뷰입니다.

흥미로운 질문은 타이밍과 목소리 표현이 처음부터 학습 자료에 포함되면 무엇이 달라지느냐입니다. 이 글에서는 그 차이를 설명하고, 데모를 들어 볼 때 쓸 수 있는 방법과 대화 행동이 중요한 세 가지 업무를 살펴봅니다. 저희는 다음 단계의 유용한 음성 시스템이라면 단어만큼 단어 사이의 공간도 세심하게 다뤄야 한다고 봅니다.

대표 이미지: 음성과 대화 타이밍을 설명하기 위해 직접 제작한 그림입니다. Dessa 설치 화면이나 실제 측정한 오디오 파형은 아닙니다.

말에는 깔끔한 전사문이 놓칠 수 있는 정보가 있다

전사문은 대화를 검색하고 인용하고 검토할 수 있는 형태로 바꿔 준다는 점에서 유용합니다. 다만 원본 녹음보다 좁은 범위의 정보를 전달하는 경우가 많습니다. 강조, 타이밍, 겹치는 말, 비언어적 소리는 문장을 해석하는 방식에 영향을 줍니다.

일정을 정하는 가상의 대화를 보겠습니다. 누군가 “목요일 괜찮아요”라고 말한 뒤 바로 “잠깐, 점심 이후로요”라고 덧붙입니다. 유용한 비서라면 첫 문장을 완료된 지시로 취급하지 않고 정정 내용을 유지해야 합니다. 시스템이 이미 답을 준비하는 도중에 수정이 들어올 수 있어서 그 타이밍이 중요합니다.

짧은 맞장구도 또 다른 예입니다. “음, 네”는 발언권을 가져오겠다는 뜻보다 계속 듣고 있다는 신호일 수 있습니다. 모든 소리를 새로운 완전한 발화 차례로 취급하면 대화가 피곤해질 수 있습니다. 반대로 짧은 끼어들기를 전부 무시하면 실제 정정을 놓칠 수 있죠.

이를 대화의 박자 문제라고 부를 수 있습니다. 계속 말할지, 기다릴지, 반응을 보일지, 차례를 넘길지를 결정하는 문제입니다. 합성 음성의 표현력을 높이는 것만으로 해결되지는 않습니다. 시스템이 대화 흐름에 대한 선택도 해야 합니다.

2024년 발표된 Moshi 연구는 겹치는 발화와 짧은 끼어들기를 명시적인 발화 차례로 나누는 파이프라인의 한계로 다뤘습니다. 전이중 대화 연구가 Dessa 이전에도 있었다는 맥락에서 중요합니다. Block 발표의 특징적인 주장은 음성만을 이용한 학습 방식이며, 동시에 듣고 말한다는 더 넓은 범주와 구분해 평가해야 합니다.

세 가지 질문으로 서로 다른 능력을 구분할 수 있다

“음성 네이티브”라는 표현에는 여러 의미가 들어갈 수 있습니다. 학습 데이터, 실행 시 구성 요소 사이를 오가는 정보, 상호작용의 타이밍을 가리킬 수 있습니다. 모델이 한 축에서 발전했다고 다른 문제까지 해결됐다는 뜻은 아닙니다.

다음 표는 이 세 축을 구분합니다. 제품 발표를 이해하기 위한 개념 비교이며, 벤치마크 순위나 특정 모델 내부 구조의 완전한 설명은 아닙니다.

2026년 10월 27일 확인한 Dessa 페이지에서 Block은 음성만을 통한 학습, 오디오 대 오디오 상호작용, 전이중 타이밍이라는 세 축을 모두 설명합니다. 이는 개발팀의 설명입니다. 사용자가 겪을 모든 대화의 품질에 대해 발표된 점수를 제공하는 것은 아닙니다.

Moshi는 이 구분이 왜 유용한지 보여 줍니다. 논문은 텍스트 언어 모델을 기반으로 만든 전이중 음성·텍스트 시스템을 설명합니다. Block이 Dessa에 대해 설명하는 학습 경로와 다르지만, 겹치는 음성 대화라는 문제를 함께 다룹니다. 모든 음성 시스템을 단순한 전사 파이프라인이라고 부르면 이 차이가 사라집니다.

제품 팀이라면 어떤 축이 해당 업무에 중요한지 물어봐야 합니다. 검색 가능한 기록에는 신뢰할 수 있는 텍스트가 필요합니다. 대화형 튜터에는 유용한 피드백과 적절한 대화 속도가 필요합니다. 고객 응대 에이전트에는 비즈니스 업무를 완료할 지식과 권한도 필요합니다.

직접 제작한 설명도입니다. 음성 시스템에 대한 세 가지 질문을 구분하며, 공개되지 않은 Dessa 내부 구조를 보여 준다는 의미는 아닙니다. 출처: Block의 Dessa 페이지, 2024년 Moshi 논문.

설득력 있는 목소리와 정확한 답에는 별도의 시험이 필요하다

표현력 있는 응답은 듣기 편할 수 있습니다. 동시에 근거 없는 답을 더 설득력 있게 들리게 만들 수도 있습니다. 시스템이 자신을 이해한다고 느끼면 청자는 세부 내용을 멈춰서 확인할 가능성이 줄어들 수 있죠.

그래서 공감하는 것처럼 느껴지는 정도, 사실 정확성, 업무 완료에는 각각 다른 검토 기준이 필요합니다. 답에 필요한 정보가 없더라도 친절한 반응 자체는 적절할 수 있습니다. 그런 상황에서는 감정 표현이 매끄러운 추측보다 적절한 순간에 분명한 질문을 하는 편이 나을 때가 많습니다.

배송 지연을 문의하는 가상의 고객 상담을 생각해 보세요. 고객은 답답한 목소리로 말하다가 주문 번호를 정정합니다. 유용한 시스템은 수정을 받아들이고 올바른 식별자를 유지한 뒤 가능한 다음 행동을 설명해야 합니다. 따뜻한 말투만으로 잘못된 조회나 권한 없는 약속을 바로잡을 수는 없습니다.

화자가 확신 없이 말할 때도 같은 원칙이 적용됩니다. 침묵은 망설임, 단어를 찾는 과정, 주변의 방해, 혹은 발언 종료를 뜻할 수 있습니다. 오디오는 근거를 제공하지만 의미는 여전히 맥락에 달려 있습니다. 신호가 모호할 때 확인 질문을 하는 행동도 평가에서 인정해야 합니다.

Block은 제한된 안전 연구자 그룹에 Dessa의 행동을 살펴볼 기회를 제공합니다. 독자에게는 이것이 현재 단계를 보여 주는 중요한 정보입니다. 고객 상담이나 교육 등 실제 배포 환경의 신뢰성 요구를 이미 충족했다는 뜻은 아닙니다.

공식 데모는 점수표보다 듣기 연습에 가깝다

공개 Dessa 페이지에는 출시를 이야기하거나 영화 제목을 떠올리는 대화 등 선별된 녹음이 있습니다. 회사는 모델이 응답을 스스로 선택하며 자막은 나중에 붙였다고 설명합니다. 녹음으로 행동 사례를 살펴볼 수 있지만, 넓은 시험 집합에서 같은 행동이 얼마나 자주 나타나는지는 알 수 없습니다.

자막을 읽기 전에 타이밍을 들어 보세요. 응답은 언제 시작하나요? 맞장구는 사람의 말을 돕나요, 아니면 경쟁하나요? 화자가 스스로 말을 고칠 여유를 주나요?

그다음 내용을 살펴보세요. 대화에 사실 주장이 있다면 전달 방식의 품질과 별도로 평가합니다. 박자가 훌륭한 답도 내용은 수정해야 할 수 있습니다. 두 판단을 구분하면 즐거운 데모가 업무에 대한 근거를 대신하는 일을 피할 수 있습니다.

마지막으로 오해를 수습하는 과정을 보세요. 화자가 잘못 이해한 내용을 바로잡는 순간은 특히 유익합니다. 대화가 문제를 해결하나요, 아니면 처음 해석을 계속 밀고 가나요? 한 번의 회복으로 성공률을 알 수는 없지만 이후 평가를 설계하는 데는 도움이 됩니다.

이 연습에는 분명한 한계도 있습니다. 선별된 녹음에서는 요청, 환경, 반복 시도를 직접 통제할 수 없습니다. 모든 배포 질문의 답을 미리 구하는 수단보다는 실제 시험에서 확인할 질문을 만드는 방법으로 보세요.

세 가지 활용 가능성이 타이밍의 중요성을 보여 준다

다음 시나리오는 대화 능력을 활용할 수 있는 예시입니다. Dessa의 실제 고객 도입 사례나 현재 프리뷰가 필요한 연동을 지원한다는 주장은 아닙니다. 각각 탐색할 가치가 있는 행동과 안정적으로 운영하기 위해 필요한 작업을 구분합니다.

외국어 연습 상대라면 학습자의 망설임을 기다리고 올바르게 고친 말에 반응하는 능력이 유용할 수 있습니다. 평가는 도움이 되는 격려와 연습을 방해하는 끼어들기를 구분해야 합니다. 목표 언어 지원, 교정 품질, 반복되는 실수 처리에 대한 근거도 필요합니다. 자연스러운 영어 데모만으로는 답할 수 없는 질문입니다.

말하기 리허설 비서는 발표나 어려운 대화를 연습하는 데 도움을 줄 수 있습니다. 유용한 상호작용이라면 화자가 생각을 마치도록 기다리고, 후속 질문을 하며, 바뀐 지시에 반응해야 합니다. 서비스를 만드는 팀은 목표가 연습인지, 피드백인지, 사실에 관한 코칭인지 정해야 합니다. 각각 필요한 검토 기준이 다르기 때문입니다.

상담 분류 인터페이스는 고객 설명을 듣고 확인 질문을 한 뒤, 대화를 처음부터 다시 시작하지 않고 수정 내용을 유지할 수 있습니다. 어려운 부분은 그 대화를 올바른 상담 건과 다음 행동에 연결하는 일입니다. 지식 접근, 인증, 담당자 이관, 거래 권한은 여전히 별도의 시스템 책임입니다.

세 사례의 공통점은 자연스러운 대화가 다음 결정에 도달하는 마찰을 줄일 수 있다는 것입니다. 가치는 결정이 유용하고 사용자가 이를 수정할 수 있는지에 달려 있습니다. 그래서 끼어들기 처리와 회복은 음성 데모의 장식이 아니라 실제 제품 요구가 됩니다.

로컬 실행은 접근 조건이 붙은 하드웨어 주장이다

Block은 Dessa가 MacBook Pro M4 Max 이상에서 로컬로 실행되며, 학습에는 NVIDIA GB200 NVL72 한 대를 사용했다고 설명합니다. 두 수치는 모두 2026년 10월 27일 확인한 공식 프로젝트 페이지에 있습니다. 개발팀이 제공한 정보이며 저희가 직접 설치해 측정한 결과는 아닙니다.

여기서는 학습과 추론의 차이가 중요합니다. 모델을 학습시키는 장비와 완성된 모델을 실행하는 장비는 서로 다른 질문에 답합니다. 학습 시스템을 소비자 요구 사양으로 읽어서는 안 되며, 노트북 설명을 메모리와 지연시간에 대한 상세 측정표로 읽어서도 안 됩니다.

접근 가능 여부도 별개의 문제입니다. 공개 페이지에는 여전히 출시 링크가 곧 제공된다고 표시돼 있고, 선정된 안전 연구자를 위한 조기 접근이 안내돼 있습니다. 일반 API 가격, 내려받을 모델 가중치, 운영 도입의 근거로 삼을 지원 언어표는 제공하지 않습니다.

향후 작업을 준비하는 개발자라면 이 정도 정보로 추적할 질문을 정할 수 있습니다. 하지만 기존 음성 시스템에서 전환할 일정을 잡기에는 부족합니다. 신뢰할 만한 이전 계획에는 실제 사용 가능한 배포물, 연동 정보, 목표 장비에서 측정한 행동, 명확한 지원 체계가 필요합니다.

침묵과 정정이 포함된 평가를 만든다

더 넓은 시험 접근이 열리면 정답을 쉽게 확인할 수 있는 업무부터 시작하세요. 시스템마다 같은 시나리오를 사용하고, 참여자의 동의를 받아 판단이 갈리는 순간을 이해할 오디오를 보존합니다. 다음 절차는 평가 설계 제안이며 이 글을 위해 실행한 실험은 아닙니다.

1. 원하는 결과를 정의합니다. 일정 대화라면 정답 날짜와 시간을 적습니다. 리허설이라면 요청한 피드백을 정의합니다. “사람처럼 들리는가”라는 전체 인상만을 목표로 삼지 마세요.
2. 짝을 이루는 시나리오를 만듭니다. 핵심 요청은 비슷하게 유지하면서 침묵, 맞장구, 끼어들기, 명시적 정정 중 한 가지 사건만 바꿉니다. 실패 원인을 논의하기 쉬워집니다.
3. 회복 지시를 넣습니다. 앞서 나온 세부 정보 하나를 고쳐 달라고 요청합니다. 최종 답에 수정이 반영되고 대화에서도 그 변화가 분명한지 확인하세요.
4. 타이밍과 내용을 따로 평가합니다. 부적절하게 끼어들었는지, 정정을 놓쳤는지, 근거 없는 사실로 답했는지를 기록합니다. 하나의 종합 점수는 중요한 약점을 가릴 수 있습니다.
5. 실제 사용할 환경을 시험합니다. 접근이 허용되면 실제 장비와 오디오 설정에서 대표 업무를 반복합니다. 조용한 마이크 시험 결과는 그 환경의 근거이며 모든 방과 헤드셋의 근거는 아닙니다.
6. 판단이 갈리면 오디오를 다시 듣습니다. 해당 순간을 재생하고 기준을 다듬습니다. 의견 차이는 단순한 모델 오류보다 불분명한 업무 정의를 드러낼 수도 있습니다.

첫 예시 집합은 침묵 4개, 정정 4개, 짧은 맞장구 4개로 총 12개 시나리오를 포함할 수 있습니다. 이는 시작점을 제안하는 수량이지 과학적으로 충분하다는 주장이나 발표된 Dessa 벤치마크가 아닙니다. 규모를 키우기 전에 서로 다른 대화 요구를 드러내는 것이 목적입니다.

직접 제작한 평가 안내입니다. 성공률, 지연시간 측정값, 모델 간 비교 점수를 의미하지 않습니다.

음성 인터페이스에서는 정정이 자연스러워야 한다

이 연구 방향의 가장 유용한 가능성은 모든 비서가 사람과 구별되지 않게 된다는 데 있지 않습니다. 사람이 경직된 인터페이스에 맞춰 말하는 데 들이는 노력이 줄어들 수 있다는 데 있습니다. 침묵, 끼어들기, 미완성 생각은 일상적인 말하기의 일부입니다.

Dessa는 개발팀이 음성만으로 학습했다고 설명하는 구체적인 연구 대상을 제공합니다. 다음 질문은 그렇게 얻은 행동이 사용자가 실제로 필요로 하는 여러 상황에서도 유지되는가입니다. 좋은 음성 인터페이스는 업무 자체를 이해할 수 있는 상태로 유지하면서 대화를 이어 가고, 뜻을 확인하고, 잘못된 내용을 쉽게 고칠 수 있게 해야 합니다.

출처

• Block: Dessa — 공식 연구 설명, 데모, 하드웨어 주장, 접근 상태. 2026년 10월 27일 확인.
• Block 뉴스 — 2026년 10월 23일 발표 목록.
• Défossez 외: Moshi, a speech-text foundation model for real-time dialogue — 전이중 음성·텍스트 대화에 관한 2024년 원천 연구.

출처 확인일: 2026년 10월 27일. 제품 정보는 발표 주체를 명시했습니다. 시나리오와 평가 절차는 설명용이며 Dessa를 설치하거나 성능을 측정하지 않았습니다. 공식 녹음은 연결한 프로젝트 페이지에서 들을 수 있습니다.

Telli.sh의 제안

녹음과 참고 노트, 대화 뒤에 이어진 결정을 검색 가능한 곳에 모으고 싶으신가요? Telli.sh에 참고 자료를 모아 다음 담당자도 맥락을 이해할 수 있게 정리해 보세요.