AI는 어떤 활성 고객을 셌을까? Databricks가 정의를 적용하는 법
Genie Ontology는 Databricks 에이전트에 사업 지표의 정의를 제공합니다. 보고서를 믿기 전에 지표의 의미, 출처의 권위, 사용자 권한을 점검하는 방법을 살펴봅니다.
동료 두 명에게 지난달 활성 고객 수를 물어보세요. 영업팀은 현재 유료 계약이 있는 계정을 셀 수 있습니다. 제품팀은 최근 30일 동안 주요 기능을 사용한 계정을 셀 수 있습니다. 두 수치가 모두 맞을 수 있죠. AI에 답 하나만 요구하면 사업에서 무엇을 고객으로 보는지에 관한 질문인데도 확정적인 숫자처럼 보이는 답이 돌아올 수 있습니다.
Databricks는 2026년 11월 11일 Genie Ontology의 정식 출시를 발표했습니다. 데이터·AI 플랫폼인 Databricks는 이 계층을 통해 에이전트에 여러 업무에서 쓸 수 있는 비즈니스 맥락을 제공합니다. 짧은 맥락 정보인 스니펫은 Databricks 대시보드, SQL 쿼리, 노트북에서 가져올 수 있습니다. 별도의 외부 BI 기능은 출시 당시 베타였고 Power BI를 지원했습니다. 담당자는 Unity Catalog에서 공식 지표와 개념을 정의할 수 있습니다. 같은 발표에서 시각 관리 도구인 Ontology Manager는 향후 베타로 소개됐습니다.
여러 에이전트가 사업 운영을 돕는다면 ‘고객’의 뜻을 왜 각자 처음부터 파악해야 할까요? 올바른 답을 승인된 정의까지 추적할 수 있다면 이 기능은 제 역할을 합니다. 반대로 잘못된 정의를 공유하면 오류가 더 넓게 퍼질 수 있죠. 월간 보고서를 발송하기 전에 그 차이를 확인하는 방법을 살펴봅니다.
같은 표현이라도 근거 있는 수치가 두 개 나올 수 있습니다. 결과를 비교하기 전에 정의를 공개합니다.
차트에는 지표 계산 방식이 숨어 있다
대시보드에는 눈앞의 막대그래프보다 많은 사업 지식이 담겨 있습니다. 어떤 날짜를 기준으로 삼을지, 어떤 기록을 빼야 할지, 유료 계정이 무엇인지, 합병을 어떻게 처리할지 누군가 정했습니다. 그 판단은 SQL, 저장된 필터, 노트북이나 보고서 담당자들의 암묵적인 합의에 담길 수 있습니다. 에이전트에 원본 테이블을 볼 권한이 있어도 쓸 만한 답을 만드는 데 필요한 규칙은 모를 수 있습니다.
출시 발표에서는 두 종류의 맥락을 설명합니다. 학습된 스니펫은 기존 쿼리처럼 일상 업무에서 만든 결과물에서 에이전트가 파악한 내용을 담을 수 있습니다. 모델링된 지식은 사람이 직접 정의하고 관리하며, 지표 뷰의 인증 KPI가 여기에 속합니다. 관련 문서에 따르면 OntoRank는 출처의 권위와 관련성을 기준으로 어떤 맥락을 적용할지 순위를 매깁니다. 이는 Databricks가 밝힌 설계입니다. 애매한 모든 질문을 우리 팀과 같은 방식으로 해결하리라는 보장은 없습니다.
| 질문 예시 | 확인할 맥락 | 정의를 정할 담당자 |
|---|---|---|
| 활성 고객 중 몇 곳이 계약을 갱신했나요? | 계정 키, 갱신 날짜, 계약 상태 | 매출 운영팀 |
| 실제로 제품을 사용한 계정은 몇 개인가요? | 활동 이벤트, 기간, 계정 매핑 | 제품 분석팀 |
| 분기 말 기준 활성 고객은 몇 곳이었나요? | 보고 정의, 시간대, 마감 시점 | 보고서 담당자 |
표에 나온 팀은 예시입니다. 좋은 답변은 실제로 사용한 정의와 보고 기간, 그 정의가 적용된 날짜, 독자가 열어볼 수 있는 출처를 보여줍니다. 질문의 뜻이 모호하다면 계약 상태를 묻는지 제품 사용을 묻는지 먼저 확인하는 편이 좋습니다. 온톨로지는 두 의미 모두 찾는 데 도움이 되지만, 보고서에서 어느 쪽을 적용했는지는 밝혀야 합니다.
숫자로 놓고 보면 차이가 뚜렷합니다. 청구 쿼리에 현재 계약 계정 420개, 활동 쿼리에 조건에 맞는 이벤트가 있는 계정 310개가 나왔다고 가정해 보죠. 이 설명을 위해 만든 숫자입니다. 계산이 맞아도 ‘활성 고객 420’이라는 답은 불완전합니다. ‘체험 계정을 제외하고 월말에 청구된 계정 420개’라고 쓰면 다음 독자가 정의를 확인할 수 있습니다. 청구된 계정 중 실제로 제품을 쓴 곳을 세려면 두 쿼리의 열을 조인해야 하며 각각의 분모도 구분해야 합니다.
맥락을 공유하면 오류의 비용도 달라진다
근거를 갖춘 정의가 있으면 도구마다 같은 긴 프롬프트를 쓰지 않아도 됩니다. 한 보고팀이 공인 매출 지표를 관리하고 여러 에이전트가 재무, 운영, 경영 관련 질문에 그 지표를 활용할 수 있습니다. Databricks는 Genie MCP를 통해 외부 에이전트에도 맥락을 제공할 수 있다고 설명합니다. 어떤 도구, 데이터 출처, 작업이 내 워크스페이스에서 활성화되어 있는지는 공식 Genie One 문서와 실제 설정을 확인하세요.
더 까다로운 상황은 두 출처가 서로 다를 때입니다. 마케팅 대시보드는 여전히 체험 계정을 고객으로 분류하지만 재무팀의 신뢰받는 보고서는 그 계정을 제외한다고 해보죠. 오래된 노트북은 재무팀과 같은 이름을 쓰면서 지난해의 로직을 따릅니다. 출처가 보이지 않는 상태에서 스니펫을 재사용하면 변경 이력을 기억하는 사람들이 떠나고도 자동화에 옛 규칙이 남을 수 있습니다.
어떤 정의가 공식 기준이 될 수 있는지 먼저 정합니다. 인증 지표라면 담당자와 승인된 보고 범위가 있어야 합니다. 노트북은 팀의 업무 방식을 알려주는 자료가 될 수 있지만 자동으로 정책이 되지는 않습니다. 유효한 규칙 두 개가 공존한다면 이름을 다르게 붙이거나 적용 영역과 기간을 표시합니다. 전사 도입은 팀마다 필요한 정의의 차이를 보존할 때 효과가 있습니다. 모든 팀이 모든 질문에 똑같이 답할 필요는 없습니다.
같은 시험에서 권한도 확인합니다. 상세 데이터를 볼 수 있는 분석가와 합계만 볼 수 있는 동료의 권한으로 동일한 질문을 던져 보세요. 두 사람에게 표시된 맥락과 인용 출처, 오류, 빈 결과까지 기록합니다. Databricks는 기존 권한을 존중하도록 설계했다고 설명하지만, 도입팀은 실제 운영할 권한 범위에서 동작을 확인해야 합니다. 지표 설명에 열 수 없는 링크가 있다면 사용성 문제입니다. 제한된 내용이 답에 노출된다면 훨씬 심각합니다. 두 상황을 따로 시험합니다.
담당자와 효력 발생일을 정한 뒤 정의가 바뀔 때 어떤 일이 일어나는지 확인합니다.
91%를 이해하려면 무엇을 집계했는지 봐야 한다
Databricks와 Turing은 영국의 가상 에너지 공급업체를 위한 모의 워크스페이스에서 평가를 설계했습니다. 11월 11일 발표에 따르면 Ontology를 적용한 Genie의 통과율은 91%, 이름을 밝히지 않은 두 비교 에이전트 중 더 높은 쪽은 58%였습니다. 각 에이전트는 과제마다 같은 질문에 다섯 번 답했고, 미리 정한 채점 기준에 따라 평가됐습니다. 특정 환경에서 두 업체가 공동으로 수행한 평가이므로 모든 Databricks 고객에게 적용되는 독립 근거로 보기는 어렵습니다.
이 비교는 실제 사업에서 겪는 문제를 보여줍니다. 에이전트에 필요한 정의가 이미 있다면 통합 문서, 원본 테이블, 메모를 탐색하는 시간이 줄어들 수 있죠. 발표에 따르면 Genie의 설정은 맥락이 이미 축적된 운영 환경을 가정했습니다. 이제 막 연결한 워크스페이스와는 조건이 다릅니다. 이 시험은 준비된 맥락에 대한 접근 범위가 다른 시스템 전체를 비교합니다. 어느 기능 하나가 결과 차이에 얼마나 기여했는지는 알 수 없습니다.
팀별로 공급업체의 과제를 그대로 따라 하지 않고 소규모 평가를 설계할 수 있습니다. 월간 활성 계정 보고서, 특정 지역의 갱신 마감일, 매출 인식의 예외, 분류 규칙의 효력 날짜처럼 쉬워 보여도 실제로 틀린 적이 있는 질문을 고르세요. 담당자로부터 기준 답변을 받아 시험 시점의 기록으로 남깁니다. 어떤 출처와 기간을 써야 정답인지 적어둡니다. 승인된 답이 하나로 정해져 있지 않아 에이전트가 답을 보류하거나 확인 질문을 해야 할 경우도 포함합니다.
수치가 맞는지뿐 아니라 어떻게 추적할 수 있고 누가 접근할 수 있는지도 채점합니다. 잘못된 공식으로 우연히 정답을 낸 보고서는 다음 달에 틀릴 수 있습니다. 답을 아주 빨리 받더라도 분석가가 확인하느라 몇 분을 쓰면 절약되는 시간은 적습니다. 누가 답을 확인할 수 있었는지, 어떤 경계 사례에서 추가 질문이 나왔는지 기록하세요. 기반 모델이 같아도 기존 방식과 시험 방식을 비교할 근거가 됩니다.
확대하기 전에 정의를 한 번 바꿔 본다
지표 하나로 시험하면 시스템이 최신 정의를 따르는지 확인할 수 있습니다. 첫 실행에서는 정해진 시점의 활성 유료 계정을 요청합니다. 이어 사업 규칙을 바꾸는 상황을 연출합니다. 합의한 날짜부터 파트너 계정이 별도의 보고 집단이 된다고 해보죠. 과거 기간의 대시보드는 기존 처리 방식을 유지하고 새 보고서에는 승인된 정의를 적용해야 합니다. 매번 정책 사본을 개별 에이전트에 보내지 않고도 변경 전후의 답을 모두 정확하게 유지하는 것이 어렵습니다.
- 데이터 담당자가 있고 실제로 해석이 두 가지로 나뉘는 지표를 고릅니다. 승인 규칙, 효력 날짜, 이미 알고 있는 답과 모호한 사례를 적습니다.
- 동일한 시점의 보고 데이터를 바탕으로 같은 질문을 기존 방식과 관리된 정의를 적용한 방식에서 실행합니다. 답변, 인용한 정의, 검증에 걸린 시간을 기록합니다.
- 두 권한 유형에서 시험을 반복합니다. 독자가 제한 자료를 보지 않으면서 필요한 출처는 열 수 있는지 확인합니다.
- 정책 변경을 가정하고 변경 전후의 보고를 요청합니다. 기간마다 맞는 정의를 적용하고 변경 내용을 언급하는지 확인합니다.
11월 11일 발표를 계기로 Databricks 워크스페이스 관리 담당자들과 Genie Ontology의 도입을 검토해 볼 만합니다. 온톨로지의 정식 출시와 향후 베타로 발표된 새 시각 도구의 제공은 구분됩니다. 시각 도구가 없어도 지표 담당자를 명시하고 정의를 조정하며 기준 질문을 준비할 수 있습니다. 실제 적용이 예상보다 오래 걸려도 그 작업은 남습니다.
정의를 찾는 것과 정확히 적용하는 것의 차이를 드러낼 질문을 하나 추가합니다. 두 계정의 고객 이름이 같을 수 있습니다. 월중에 구독 상태가 바뀔 수도 있죠. 자정을 조금 지나 기록된 거래는 UTC 시각과 현지 보고 날짜가 다를 수 있습니다. 이런 사례 중 하나를 포함하거나 제외하도록 정해 보세요. 검토자에게 기준 쿼리를 주되, 예상 수치를 확인하기 전에 에이전트가 질문을 어떻게 해석했는지 먼저 읽도록 합니다.
범위를 넓히면서 정의가 충돌하는 위치도 손쉽게 찾을 수 있습니다. 활성, 지역, 반품, 갱신처럼 팀마다 뜻이 다른 단어를 짧게 목록으로 만들어 둡니다. 새 업무 영역을 추가할 때 담당자들을 짝지어 평소 묻는 질문 세 개를 서로 교환하게 합니다. 같은 단어가 대상 집단, 집계 기간, 원본 테이블을 바꾸는 지점을 기록합니다. 그 뒤 사람이 이름을 나눌지, 공통 개념에 조건을 붙여 유지할지 결정할 수 있습니다. 중요한 정의가 카탈로그에 추가될 때마다 반복할 수 있도록 검토 범위는 작게 유지합니다.
완성된 답변을 시험에 참여하지 않은 동료에게 보내보세요. 어느 보고서에 넣을 답인지 판단할 수 있나요? 승인된 출처를 열어 자기 대시보드와 다른 점을 찾을 수 있나요? 지표를 다른 팀에 넘길 때마다 옆에서 설명해야 한다면 모델에 더 많은 맥락을 주기 전에 이름을 명확히 하고 정의를 기록하는 편이 나을 수 있습니다.
숫자를 다시 쓰려면 정의도 다시 쓸 수 있어야 한다
기대할 만한 결과는 두 에이전트가 같은 근거로 같은 답을 내놓고, 질문이 달라지면 추가 설명을 요청하는 것입니다. 조직에서 찾아보고 검증하고 수정할 수 있는 정의가 있어야 합니다. 공유 맥락은 그런 작업을 더 많은 보고서에 반영하는 방식입니다. 지표를 명명하고 관리하는 일은 여전히 필요하며 그 가치가 커집니다.
출처
지표 정의, 회의에서 정한 내용, 후속 질문을 검색할 수 있는 한곳에 모아 보세요. Telli.sh에서 첫 노트 시작하기.