아무도 9월이라고 말하지 않았다: AI 회의 요약에 꼭 필요한 9분 검토

요약문은 세 문단이었고, 구성도 깔끔했고, 딱 한 문장이 틀렸습니다. 팀은 마이그레이션을 9월에 출시하기로 합의했다.

아무도 그렇게 합의한 적이 없었습니다. 누군가 "벤더가 제때 회신하면 9월도 아마 될 것 같다"고 말했을 뿐입니다. 다른 얘기를 하던 도중에 딱 한 번 나온 조건부 발언이었죠. 모델은 조건을 지우고 추측을 결정으로 승격시켰고, 그 노트는 회의실에 없던 열한 명에게 전달됐습니다. 그중 두 명은 9월을 전제로 일정을 짜기 시작했습니다.

이건 특이한 사고가 아닙니다. 자동 요약 시스템에서 가장 잘 기록된 행동 중 하나이고, 연구 문헌에 이름까지 붙어 있으며, 다음 모델이 더 커진다고 사라지지 않습니다. 이 글은 세 가지를 드립니다. 요약이 실제 발언에서 어긋나는 일곱 가지 방식, 그 일곱 가지를 모두 잡아내는 9분짜리 검토 절차, 그리고 검토 시간을 줄여주는 회의 중 몇 마디입니다.

한눈에 보기

• TofuEval 벤치마크(NAACL 2024)에서 실제 시의회 회의 전사본을 요약한 결과의 30.4%가 최소 한 개의 사실 오류를 포함했고, 곁가지 주제로 가면 43.6%까지 올라갔습니다.
• 오류는 무작위 잡음이 아닙니다. 연구진은 이를 일곱 가지 유형으로 분류했고, 회의에 가장 큰 피해를 주는 둘은 의견을 사실로 진술하는 오류와 시제·양태 변형 오류입니다. "할 수도 있다"가 "한다"로 바뀌는 바로 그 지점이죠.
• 검사를 다시 모델에게 맡길 수도 없습니다. FaithBench(2024년 10월)에서 최고 성능의 환각 탐지 모델조차 정확도 50% 안팎에 그쳤고, TofuEval에서는 LLM 평가자가 더 작은 전용 지표에 밀렸습니다.

이미지: Shixart1985, Wikimedia Commons, CC BY 2.0. 핵심은 안경입니다. 결국 누군가는 읽어야 하니까요.

기록은 해결됐고, 검증은 시작조차 안 됐다

최근 6개월간 해커뉴스에 올라온 회의 노트 도구를 세어 보면 2026년 3월 1일부터 8월 13일 사이에만 최소 열다섯 개입니다. 온디바이스 전사 도구, 봇 없이 붙는 노트패드, 옵시디언 임포터, 오픈소스 그래놀라 클론까지요. 그리고 전부 같은 두 기능을 답니다. 오디오를 잡고, 요약을 만든다.

세 번째 단계를 붙인 제품은 하나도 없습니다. 판단이 들어가는 유일한 단계인데도요. 요약은 이미 서식이 잡히고, 이미 확신에 차 있고, 이미 참석자 전원에게 발송된 상태로 받은편지함에 도착합니다. 그 워크플로가 암묵적으로 주장하는 바는 하나입니다. 이 결과물은 완성됐다.

여기서부터가 핵심입니다. 생성된 요약은 회의의 기록이 아닙니다. 회의에 관한 진술이고, 정확할 책임을 지지 않는 시스템이 만들어냈으며, 다른 모든 전언과 똑같이 다뤄야 합니다. 즉 근거와 대조해서 읽어야 합니다.

다행히 근거는 바로 옆에 있습니다. 요약을 만든 도구가 전사본도 함께 만들었으니까요. 둘을 대조하는 데 걸리는 시간은 그 회의에서 자기소개에 쓴 시간보다 짧습니다.

노트를 읽는 방식을 바꿔야 하는 숫자

TofuEval은 세일즈포스 AI 연구진과 공동 저자들이 NAACL 2024에서 발표한 연구로, 이 문제에 대해 우리가 가진 가장 통제된 측정치에 가깝습니다. 연구진은 두 개의 대화 코퍼스 — 뉴스 인터뷰 하나, 미국 시의회 회의 전사본으로 만든 MeetingBank 하나 — 를 놓고 다섯 개 언어 모델에 주제별 요약을 작성하게 한 뒤, 전문 언어학자들이 요약문의 모든 문장을 원문과 대조해 사실 일치 여부를 표시했습니다.

회의 전사본에서, 다섯 모델 평균 회의 주요 주제 요약의 30.4%가 최소 한 개의 사실 불일치를 포함했고, 곁가지 주제에서는 43.6%로 올라갔습니다. 논문은 이렇게 적습니다. GPT-3.5-Turbo를 제외하면 "요약의 약 40~50%가 최소 한 개의 사실 불일치를 포함한다."

정직하게 덧붙일 단서는 이겁니다. 이 다섯 모델은 2023년 세대입니다. Vicuna, 세 가지 크기의 WizardLM, 그리고 GPT-3.5-Turbo죠. 오늘날 프런티어 모델은 사실성 면에서 의미 있게 나아졌습니다. 다만 같은 논문의 두 가지 발견은 그 반박을 넘어 살아남고, 그게 바로 당신의 화요일에 영향을 주는 부분입니다.

첫째, 규모가 이 문제를 안정적으로 해결하지 못했습니다. 회의 데이터에서 WizardLM-30B의 오류율은 WizardLM-7B보다 겨우 3.8%포인트 낮았습니다. 크기는 네 배 이상인데도요. 일부 비교에서는 같은 계열의 더 큰 모델이 오류를 더 많이 냈습니다. 둘째, 오류 수와 요약 길이 사이에는 의미 있는 관계가 없었습니다. 피어슨 ρ는 0.18이었죠. 길고 자세한 요약이 더 안전한 요약은 아니라는 뜻입니다. 더 큰 모델을 기다리는 건 검토 절차가 아닙니다.

실제 시의회 회의 전사본을 요약한 결과 중 최소 한 개의 사실 오류를 포함한 비율, 주요 주제만. 출처: TofuEval, Tang et al., NAACL 2024(arXiv:2402.13249). 실험에 쓰인 모델은 2023년 세대이지만, 아래의 오류 유형은 그 세대를 넘어 살아남았습니다.

요약이 회의실에서 어긋나는 일곱 가지 방식

그 논문에서 가장 쓸모 있는 건 퍼센트가 아닙니다. 분류 체계입니다. 주석자들이 수천 개의 표시된 문장에서 도출한 일곱 가지 오류 유형으로, 짧은 대화를 대상으로 만들어진 기존 분류를 확장한 것입니다.

한 번 읽어두면 당신의 노트에서도 이 유형들이 보이기 시작합니다. 무작위 결함이 아니라, 말을 산문으로 압축할 때 회의실이 의존하던 구분이 사라지는 구체적이고 반복적인 방식이기 때문입니다.

이 중 셋은 실물로 놓고 보면 가장 알아보기 쉽습니다. 전사본과 요약 문장을 나란히 놓아보죠.

부정 탈락, 모순 오류. 회의실에서 나온 말:

다니엘 (00:31:12): 그러니까 출시일은 옮기지 않습니다. 다른 게 바뀌더라도
그 날짜는 유지합니다.

요약이 적은 문장:

팀은 출시일을 옮기기로 합의했다.

단어 하나가 빠졌을 뿐인데 문장은 정반대 행동을 지시합니다. 게다가 문법적으로 완벽하죠. 교정 읽기가 그냥 지나치는 이유가 그것이고, 결정 근처에서 "않"을 검색하면 4초 만에 잡히는 이유도 그것입니다.

잘못된 귀속, 잘못된 지시 오류. 회의실에서 나온 말:

프리야 (00:18:40): 저는 좌석당 과금은 반대합니다. 지난 분기에 엔터프라이즈
고객 두 곳이 그러면 계약이 깨진다고 했어요.
미나 (00:18:55): 네, 동의합니다.

요약이 적은 문장:

미나는 엔터프라이즈 고객 피드백을 근거로 좌석당 과금에 반대했다.

이 문장의 모든 사실은 전사본 안에 있습니다. 사람만 아닙니다. 어려움의 핵심이 여기 있죠. 주장이 참인지 물어서는 이걸 잡을 수 없고, 그 주장이 지목된 사람의 것이 맞는지 물어야만 잡힙니다.

승격된 추측, 양태 오류. 회의실에서 나온 말:

샘 (00:44:02): 벤더가 제때 회신만 해주면 9월도 아마 될 것 같아요.

요약이 적은 문장:

팀은 마이그레이션을 9월에 출시하기로 합의했다.

한정어 둘이 사라졌습니다. "아마"라는 단어와 조건절 전체가요. 그러자 함께 해본 추측이 날짜가 붙은 확약으로 바뀌었습니다. 이렇게 되는 데 누군가 거짓말을 할 필요는 없었습니다. 압축이 한 일입니다.

이 중 둘은 특별히 볼 만합니다. 팀에 실제로 돈을 물리는 유형이거든요.

의견을 사실로 진술하는 오류는 이 글 첫머리의 9월 사고 그 자체입니다. 회의에서는 대부분의 문장이 완충되어 있습니다. 사람들이 소리 내어 생각하는 중이고, 그 완충 표현이 의미의 전부를 지고 있으니까요. 요약 모델은 설계상 완충 표현을 걷어냅니다. 산문을 압축할 때 가장 먼저 잘라내는 게 그것이기 때문입니다. 그 결과물은 회의실보다 단호하게 읽히고, 바로 그래서 아무도 의심하지 않습니다.

양태 변형은 날짜에 같은 피해를 입힙니다. "할 수도", "해야", "아마", "벤더가 회신하면"은 계획과 확약을 가르는 말인데, 동시에 가장 버리기 쉬운 말이기도 합니다. 팀이 9월에 무언가를 한다고 적힌 요약은, 아무도 책임지지 않는 마감을 조용히 제조한 겁니다.

둘의 공통점을 보세요. 모델이 없던 사실을 지어낸 게 아닙니다. 한정어를 제거한 겁니다. 모델이 할 수 있는 가장 눈에 안 띄는 편집이고, 원문 없이는 어떤 독자도 알아챌 수 없는 편집이죠.

지어내기는 곁가지에서 일어난다

데이터에는 실제 회의 진행 방식과 정확히 겹치는 두 번째 패턴이 있습니다.

곁가지 주제 — 길게 논의되지 않고 스쳐 지나간 것들 — 의 요약은 눈에 띄게 나빴습니다. 회의 코퍼스에서 30.4% 대 43.6%였죠. 연구진은 그 메커니즘을 이렇게 설명합니다. 주제가 원문에 거의 다뤄지지 않으면 모델은 "그 주제에 대해 그럴듯한 추론을 하기 위해 자기 지식에 의존하며, 근거 없는 정보를 요약에 끌어들인다." 근거가 얇은 자리는 일반 지식으로 채워지고, 그 채움은 어조상 근거 있는 부분과 구별되지 않습니다.

당신의 회의는 곁가지로 가득합니다. 보안 검토 얘기가 나온 2분, 딱 한 번 언급된 벤더, 누군가 어렴풋이 기억해낸 숫자. 이 문장들은 가장 적게 논의됐고 가장 틀리기 쉬운데, 나머지와 똑같이 매끄럽게 읽힙니다.

한 층 아래도 모양이 같습니다. ACM FAccT 2024에서 발표된 "Careless Whisper"에서 코네케 연구팀은 Whisper 전사본의 약 1%가 원본 오디오에 어떤 형태로도 존재하지 않는 문구나 문장을 통째로 포함했고, 그 환각의 38%가 명시적 해악을 담고 있었다고 보고했습니다. 없던 연관 관계, 거짓 권위, 조작된 폭력 같은 것들이죠. 흥미로운 건 방아쇠였습니다. 환각은 비발화 구간이 긴 화자에게 불균형하게 많이 나타났습니다.

다시 말해 침묵입니다. 그리고 회의는 침묵으로 이루어져 있죠. 생각하느라 생긴 공백, 누군가 음소거를 푸는 시간, 화면 공유가 뜨는 동안, 어려운 질문 뒤의 4초. 전사 모델이 하지도 않은 말로 채워 넣을 가능성이 가장 높은 원재료가 바로 그것입니다. 그리고 이는 전사 오류와 요약 오류가 서로 독립적이지 않다는 뜻이기도 합니다. 지어낸 전사 문장은 요약 입장에서는 완벽하게 근거 있는 입력이니까요.

검사를 모델에게 되돌려줄 수는 없다

두 번째 모델에게 첫 번째 모델을 검증시키자는 발상은 자연스럽습니다. 측정치는 별로 고무적이지 않습니다.

같은 TofuEval 연구에서 저자들은 LLM을 사실 일치 여부 판정자로 세워 평가했고, GPT-4를 포함해 전부가 "LLM이 생성한 요약의 오류를 탐지하는 데 성능이 나쁘다"는 결론을 얻었습니다. 이 과제를 위해 만들어진 더 작은 비-LLM 사실성 지표들에 밀렸죠. GPT-4가 문장을 올바르게 표시했을 때조차, 왜 틀렸는지에 대한 설명이 맞은 비율은 약 80%였습니다. 나머지 평가자는 절반 수준이었고요.

2024년 10월 Vectara가 공개한 FaithBench는 그 천장에 숫자를 붙였습니다. 8개 계열 10개 최신 LLM이 만들어낸 환각 중 기존 탐지기들의 판정이 엇갈린 사례를 모았고, 최고 성능의 환각 탐지 모델조차 정확도가 50% 안팎이라고 보고했습니다. 정작 중요한 사례에서 동전 던지기라는 뜻입니다.

그러니 검토는 당신 몫입니다. 부담처럼 들리지만, 비대칭 하나를 보세요. 탐지기는 낯선 문서를 기준으로 임의의 텍스트를 판정해야 하지만, 당신은 그 회의실에 있었습니다. 어떤 주장이 이상해 보이는지 이미 알고 있죠. 확인만 하면 됩니다.

세 가지 산출물, 각기 다른 임무

"AI 노트 대 사람 노트" 논쟁은 대개 범주 오류입니다. 회의는 세 가지 산출물을 만들고, 이들은 서로 대체재가 아니며, 하나만 남기는 팀은 언제나 구체적인 무언가를 잃습니다.

각 산출물이 무엇을 지키고, 부분적으로 지키고, 잃는지. 나머지 둘의 가치를 결정하는 건 맨 아랫줄입니다.

맨 아랫줄이 논지의 전부입니다. 전사본 없이 남은 요약은 반증 불가능합니다. 동료가 "우리가 합의한 건 그게 아닌데요"라고 하면 남는 건 두 개의 의견과 영 개의 기록이죠. 바로 이 지점에서 AI 노트는 사람 노트보다 더 취약합니다. 사람이 쓴 회의록에는 가시적인 오류 가능성이 함께 붙어 있어서 모두가 적당히 의심하며 읽었습니다. 기계가 쓴 산문은 깔끔한 소제목과 단정적인 서술로 도착해서, 벌지 않은 권위를 빌려 씁니다.

있는 그대로 부르죠. 요약은 증언이고, 전사본은 증거입니다. 증언은 유용합니다. 그리고 증언은 대조해봐야 하는 것이기도 합니다.

9분 검토, 순서대로

우리가 권하는 절차입니다. 60분 회의 기준으로 시간을 잡았습니다. 순서가 중요합니다. 틀렸을 때 대가가 큰 확인부터 앞에 두었기 때문에, 4분째에 방해받아도 비싼 오류는 이미 잡은 상태가 됩니다.

1. 0:00~1:30 — 결정 문장만 읽는다. 첫 패스에서는 서술형 요약을 통째로 무시합니다. 결과, 확약, 날짜를 주장하는 문장만 찾으세요. 60분 회의라면 보통 서너 개에서 여섯 개입니다. 누군가 실제로 실행할 문장은 그것뿐입니다.
2. 1:30~3:00 — 양태를 복원한다. 각 문장에 대해 전사본의 해당 지점으로 이동해 동사를 확인합니다. 누군가 한다고 말했나요, 아니면 할 수도 있다, 해야 한다, 아마라고 했나요? 원문이 완충되어 있었다면 완충 표현을 되살려 요약 문장을 고쳐 쓰거나, 더 좋게는 담당자를 붙인 미결 질문으로 표시하세요.
3. 3:00~4:30 — 고유명사와 숫자를 전부 확인한다. 이름, 회사, 버전, 가격, 날짜, 퍼센트. 하나하나 전사본에서 검색합니다. 거기 없는 것은 외삽 정보입니다. 지우거나 회의 밖에서 확인하세요. 읽는 작업이 아니라 검색창 작업입니다.
4. 4:30~5:30 — 귀속을 검증한다. 각 결정과 각 반대 의견에 대해 그 타임스탬프에서 누가 말하고 있는지 확인합니다. 잘못된 지시는 일정 문제보다 사람 문제를 일으킬 가능성이 큰 오류이고, 확인은 가장 빠릅니다.
5. 5:30~6:30 — 탈락한 부정을 사냥한다. 각 결정 주변에서 않는다, 절대, 아니다, 아니면, 대신에를 검색합니다. 모순 오류는 문장을 완벽하게 문법적으로 남겨둔 채 의미만 뒤집기 때문에, 교정 읽기로는 못 찾습니다. 검색으로 찾아야 합니다.
6. 6:30~8:00 — 무엇이 빠졌는지 묻는다. 어떤 도구도 대신할 수 없는 단계입니다. 요약은 자기가 빠뜨린 것을 스스로 표시할 수 없으니까요. 질문 둘입니다. 우리가 무엇을 왜 배제했는가? 그리고 어떤 질문에 답하지 못했는가? 둘 다 압축에서 살아남지 못하고, 둘 다 6개월 뒤 그 노트를 쓸모 있게 만드는 것들입니다.
7. 8:00~9:00 — 결정 로그를 쓰고 발송한다. 세 줄에서 여섯 줄. 각 줄에 무엇을 결정했는지, 다음 행동을 누가 맡는지, 언제까지인지를 담습니다. 전사본으로 링크를 겁니다. 그 링크가 이 검토 전체를 다른 사람도 다시 확인할 수 있게 만듭니다.

순서 자체가 설계입니다. 양태와 지어낸 세부 정보를 먼저, 누락을 마지막에. 중간에 끊긴 검토도 비싼 오류는 잡습니다.

이걸 일상에 얹는 데 필요한 두 가지 메모. 30분 회의라면 4분짜리 작업입니다. 그리고 요약과 타임스탬프가 붙은 전사본을 함께 들고 있는 도구 안에서 하면 2번부터 5번까지가 창 전환이 아니라 검색과 클릭이 됩니다. 바쁜 주에도 살아남는 습관과 그렇지 못한 습관의 차이가 거기서 갈립니다.

회의 중 10초가 검토 시간 5분을 아낀다

원본 녹음에 애초에 그 정보가 들어 있으면 검토는 극적으로 짧아집니다. 모델은 아무도 하지 않은 말을 복원할 수 없고, 노트를 모호하게 만드는 것 대부분은 애초에 오디오에 없던 것들입니다.

1. 질문을 소리 내어 말하며 연다. "오늘은 마이그레이션을 컨퍼런스 전에 출시할지 후에 출시할지 정하려고 모였습니다." 질문을 명시하면 요약 모델에 곁가지가 아니라 주요 주제가 생깁니다. 그리고 곁가지가 43.6% 쪽이었죠.
2. 자리를 뜨기 전에 결정을 이름과 날짜를 붙여 한 문장으로 말한다. "결정합니다. 벤더 후속은 미나 님이 맡고, 9월 날짜는 25일까지 확정합니다." 시중의 모든 노트 도구가 이 문장을 완벽하게 잡아냅니다. 그리고 어느 것도 이 문장을 대신 만들어내지 못합니다.
3. 부정을 명시적으로 말한다. 어깨를 으쓱하고 고개를 끄덕이는 것보다 "출시일은 옮기지 않습니다"가 안전합니다. 부정 탈락은 문서화된 오류 유형이고, 애초에 발화되지 않은 부정은 탈락시킬 수조차 없으니까요.
4. 무엇을 왜 반려했는지 한 줄로 말한다. "좌석당 과금을 검토했지만 지난 분기에 엔터프라이즈 고객 두 곳이 반대해서 접었습니다." 6개월 뒤 같은 논쟁이 다시 열리는 걸 막는 문장이 이겁니다.
5. 낯선 고유명사는 한 번 또박또박 말한다. 벤더 이름, 내부 코드명, 약어야말로 전사본이 뭉개고 요약이 그대로 확신에 차서 반복하는 대상입니다.
6. 침묵이 말하게 두지 않는다. 모두가 문서를 읽느라 조용해졌다면 그렇다고 말하세요. 긴 비발화 구간이 전사 모델이 가장 많이 환각하는 조건입니다.

이건 회의용 연극이 아닙니다. 기록에 받아쓰게 하는 일이고, 기록이 자동으로 작성되기 시작하면서 오히려 더 값어치가 올라간 기술입니다.

결론

AI 회의 요약은 기록이 아닙니다. 기록에 관한 증언입니다. 유창하게 전달되고, 정확할 이해관계가 없으며, "아마"라는 단어를 떨어뜨리는 성향이 문서화된 증인이 하는 증언이죠.

이렇게 다시 규정하면 수동 대 AI 논쟁은 정리됩니다. 애초에 논쟁이 아니었으니까요. 녹음을 남기세요. 유일한 증거니까요. 요약은 모델에게 맡기세요. 당신보다 빠르고 40분째에도 지루해하지 않으니까요. 그런 다음 9분을 써서, 그 자리에 있었던 사람만 할 수 있는 한 가지를 하세요. 확신에 찬 문장들을 실제 발언과 대조하고, 누군가 실행해야 할 세 줄을 적는 일입니다.

2026년에 데는 팀은 AI 노트 도구를 건너뛴 팀이 아닙니다. 요약을 전사본처럼 읽은 팀입니다. 실은 의역이었고, 그 차이를 보여줬을 전사본은 남겨두지 않은 팀이죠. 좋은 노트가 담아야 할 것의 더 완전한 목록은 회의 노트에 여전히 남아야 하는 여섯 가지에, 단어 오류율이 전사본의 실사용 가능성에 대해 거의 아무것도 말해주지 않는 이유는 정확도만으로는 부족한 이유에 적어두었습니다.

---

Telli.sh는 여기에 있습니다. 9분 검토는 요약과 원본이 같은 자리에 있을 때만 작동합니다. Telli.sh는 화자가 구분된 타임스탬프 전사본을 편집 가능한 AI 요약 바로 옆에 둡니다. 그래서 주장 하나를 확인하는 일이 두 시스템을 뒤지는 게 아니라 검색과 클릭이 됩니다. 회의실이 한 언어로만 말하지 않을 때는 번역이 원문을 대체하는 대신 나란히 놓입니다. 요약은 받아들일 결과물이 아니라 고쳐 쓸 초안으로 도착합니다.

실시간 AI 노트 시작하기

출처

• Tang et al., "TofuEval: Evaluating Hallucinations of LLMs on Topic-Focused Dialogue Summarization," NAACL 2024 (arXiv:2402.13249, 2024년 2월 20일)
• Koenecke et al., "Careless Whisper: Speech-to-Text Hallucination Harms," ACM FAccT 2024 (arXiv:2402.08021, 2024년 2월 12일)
• Bao et al., "FaithBench: A Diverse Hallucination Benchmark for Summarization by Modern LLMs," Vectara (arXiv:2410.13210, 2024년 10월 17일)
• Hu et al., "MeetingBank: A Benchmark Dataset for Meeting Summarization," ACL 2023 (arXiv:2305.17529, 2023년 5월 27일)
• Wang et al., "Analyzing and Evaluating Faithfulness in Dialogue Summarization," EMNLP 2022 (arXiv:2210.11777, 2022년 10월 21일)
• Wikimedia Commons 이미지 페이지