AI Models8분 분량

0.57GB 번역 모델, 휴대전화에 넣어둘 만할까?

Preferred Networks가 네 가지 크기의 PLaMo 3 Translate를 공개했다. 0.8B 모델로 자주 쓰는 문장부터 오프라인 번역을 시험해 볼 수 있다.

K
Ken Jo

전파가 잡히지 않는 열차에서 저장해 둔 일본어 메시지를 번역할 수 있다면, 벤치마크 점수가 더 높은 번역 서비스보다 그 순간에는 유용할 수 있다. 판단 기준은 두 가지다. 모델이 내가 가진 기기에서 돌아가는가? 잘못 이해하면 곤란한 내용이 번역에도 정확히 남는가?

일본의 AI 연구개발 기업 Preferred Networks는 2026년 11월 5일 PLaMo 3 Translate의 가중치를 공개했다. 매개변수 8억 개부터 310억 개까지 네 크기가 있으며, PFN이 밝힌 지원 언어는 53개다. 가장 작은 모델은 공식 4비트 GGUF 파일로 0.57GB다. PFN은 비행기 모드의 스마트폰에서 0.8B 모델로 텍스트를 번역하는 모습을 공개했다. 발표 당시 시연에 쓴 내부 앱은 출시되지 않았다. 개발자는 가중치와 실행 안내를 이용할 수 있으며, 시연은 한 가지 모바일 구성에서 오프라인으로 작동한 사례다. PFN 발표 · PFN 기술 문서와 스마트폰 시연 · 공식 0.8B 파일

여행이나 업무에서 필요한 언어 방향과 문장부터 시험하면 된다. 영상은 시험해 볼 계기를 주고, 계속 쓸지는 직접 확인한 오류가 결정한다.

비행기 모드 아이콘이 보이는 스마트폰 잠금 화면

Skitterphoto의 비행기 모드 참고 사진을 CC0 원본에서 크기 조정했다. PFN 공식 0.8B 스마트폰 시연.

시연 영상과 모델 파일로 확인할 수 있는 것이 다르다

비행기 모드 시연은 모델과 호환되는 로컬 실행 환경이 특정 모바일 구성에서 일부 텍스트를 번역할 수 있다는 사실을 보여준다. 공개된 파일을 내려받으면 자기 장비에서 시험할 수 있다. 모바일 앱은 운영체제가 허용하는 메모리 안에서 모델을 불러오고, 텍스트를 입력받고, 결과를 표시해야 한다. 번역 품질과 별개의 문제다.

여행을 떠나기 전에 모델과 호텔 안내를 내려받는 상황을 떠올려 보자. 연결이 끊겨도 짧은 안내를 붙여 넣고 원문과 번역을 나란히 보며 정류장 번호를 찾을 수 있다. 항공편 변경 안내가 사진으로 왔다면 텍스트를 추출하는 단계가 필요하다. 음성 안내는 녹음하고 글로 옮기는 별도 방법이 있어야 한다. 공개 모델의 역할은 텍스트가 준비됐을 때 시작한다.

업무에서도 이 경계 덕분에 시험 범위를 좁힐 수 있다. 현장 엔지니어는 설명서의 짧은 지시를 복사해 단위와 금지 사항이 보존되는지 확인할 수 있다. 스캔 설명서를 받는 팀이라면 먼저 텍스트를 추출하면서 열과 번호, 제목을 유지할 방법을 정해야 한다. 문자 인식이 부품 번호를 잘못 읽으면 유창한 번역도 그 오류를 이어받을 수 있다. 검토할 때 스캔 원본과 추출 텍스트를 함께 둔다.

스마트폰 시험부터 서버 기준 모델까지 PLaMo 3 Translate 네 크기의 시험 환경 예시

시험을 시작할 수 있는 네 가지 예시. 기기 조합은 편집부 제안이며 53개 언어는 PFN이 공개한 수치다. Telli.sh 제작 도해.

0.57GB가 알려주는 것

0.57GB는 0.8B의 Q4_K_M 모델 파일 크기다. 같은 공식 저장소에서 Q4_0은 0.55GB, Q3_K_M은 0.49GB, Q2_K는 0.41GB로 표시된다. 접미사는 가중치를 낮은 정밀도로 저장하는 양자화 방식이다. 방식에 따라 파일 크기와 번역 결과가 달라질 수 있다. 파일 목록은 다운로드 공간을 가늠하게 해준다. 실행 중에는 작업 데이터와 문맥 토큰, 앱 자체를 위한 메모리도 필요하다. 공식 0.8B 파일 목록

첫 비교는 PFN의 공식 GGUF 예제에 나오는 Q4_K_M으로 시작하자. 기기가 파일을 불러오지 못하거나 저장 공간이 부족한 경우처럼 제약이 분명할 때 다른 양자화를 추가한다. 두 파일에 같은 짧은 문장 목록을 넣고 실행 환경과 텍스트, 생성 설정을 고정한다. 휴대전화에서 노트북으로 기기까지 바꿨다면 별도 비교로 기록해야 속도 차이의 원인을 좁힐 수 있다.

처음 실행과 연속 번역을 따로 측정한다. 열기까지 시간이 걸리는 모델도 한 번 로드되면 짧은 문장을 빨리 번역할 수 있다. 앱을 계속 열어 두는 책상 업무에는 그 방식이 맞을 수 있다. 간판 하나 때문에 여는 여행자는 매번 시작 지연을 느낀다. 몇 차례 번역한 뒤 문단 하나를 붙여 넣고 카메라나 브라우저로 넘어갔다가 돌아오자. 일상적인 메모리 압박에서 모델을 다시 불러오는지, 이전 결과를 지우는지, 자연스럽게 복구하는지 기록한다.

배터리와 발열은 실제 사용할 기기에서 살핀다. 하루에 짧은 문장 열 개를 나눠 번역하는 일과 설명서 한 권을 한 번에 처리하는 일은 부하가 다르다. 실제 입력을 나란히 넣어 보면 기다릴 만한 시간에 작업이 끝나는지 알 수 있다. PFN 발표의 수치는 개발사 측정이며 스마트폰 영상은 시연이다. 여기 제시한 기기 점검은 독자가 시도할 시험이다.

한 크기만 도입해도 나머지는 비교 기준이 된다

PFN은 0.8B, 2B, 8B, 31B 가중치를 공개했다. 팀은 지도 미세조정에 이어 직접 선호 최적화를 적용했으며 작은 모델을 학습할 때 큰 모델의 지식을 증류했다고 설명한다. 네 크기를 직접 써볼 수 있으므로 작은 모델이 내 업무의 텍스트에서 무엇을 놓치는지 비교할 수 있다. 평소 사용하는 기기에서는 작은 모델을 쓰고 큰 모델은 별도 비교 기준으로 두는 것도 가능하다. PFN 기술 발표

짧은 텍스트의 기기 내 번역 후보로 0.8B를 두고, 노트북이나 여유 있는 휴대전화가 선택한 구성을 감당한다면 2B도 비교한다. 8B나 31B는 실행 가능한 장비에서 기준으로 삼을 수 있다. 작은 모델이 빠뜨린 용어를 큰 모델이 보존한다면 문제를 분석하는 데 도움이 된다. 같은 실수를 할 수도 있다. 의도한 뜻의 기준은 이중 언어 검토자나 원문 용어집에 둔다.

일본어와 영어는 PFN 평가에서 비중이 높으므로 시작하기 좋다. 태국어를 프랑스어로 옮기는 제품이라면 그 방향을 직접 시험한다. 지원 언어에 든다는 사실은 해당 조합을 처리하도록 설계됐음을 알려준다. 의료 약어, 지역 관용구, 긴 보증 조항, 여러 문자가 섞인 이름의 처리 품질은 별도 확인 대상이다.

번역 방향도 변수로 다룬다. 영어에서 일본어로 실용적인 메시지를 만드는 모델이 손글씨 문체의 일본어를 영어로 옮길 때는 다른 실수를 낼 수 있다. 일본어를 받아 독일어로 게시하는 팀도 독일어와 일본어로 오가는 대화에서는 양쪽 방향이 필요할 수 있다. 방향을 표시하고 실제 흐름과 직접 비교한다.

벤치마크는 짧은 번역 요구사항과 함께 읽는다

PFN은 내부 평가 PFTB와 WMT24++, FLORES+ 등 공개 벤치마크의 결과를 보고한다. 벤치마크와 언어 방향에 따라 순위가 달라진다고 설명하며 내부 PFTB는 생성된 참조 번역을 쓴다. 일본어를 비롯해 어느 경우를 더 시험할지 고르는 데 활용할 수 있는 개발사 보고다. 기사에 비교를 실을 때는 어느 평가를 인용하는지 밝히고 한 방향의 점수를 53개 언어 전체로 확대하지 않는다. PFN 평가 방법과 비교

먼저 결과의 합격 기준을 적는다. 여행 안내라면 지명, 시간, 요금과 의무인지 권장인지가 살아 있어야 한다. 기술 지원 문서라면 부품 번호를 보존하고 “연결을 반드시 끊어야 한다”와 “연결을 끊어도 된다”를 구분해야 한다. 사실 확인을 마친 뒤 별도로 어조가 어울리는지 살핀다.

두 검토자에게 같은 기준을 준다. 한 사람은 자연스러운 문장을 선호하고 다른 사람은 원문과 한 단어씩 대조한다면, 큰 모델이 숫자를 바꾸고도 문장이 더 매끄러워 이긴 것처럼 보일 수 있다. 원문당 한 행에 사실 오류, 문체 문제, 용어집 일치 여부를 남기면 판단 차이가 드러난다. 원문도 보관한다. 평균 점수 하나보다 원문과 번역을 나란히 본 사례가 판단에 도움이 된다.

가장 작은 모델이 일부 기준에서만 통과해도 글을 쓸 만한 결과다. 카페 메뉴에서는 어색한 표현을 넘어갈 수 있어도 서비스 공지에서는 받아들이기 어렵다. 늘 보는 호텔 안내는 번역이 쉬울 수 있고 처음 보는 역 안내는 검토가 필요할 수 있다. 어떤 사례가 통과했고 어디에 도움이 더 필요한지 구체적으로 보여주면 독자가 지금 시험할지 판단할 수 있다.

용어집과 어조로 번역 제어를 시험한다

PFN은 용어집과 문체 지정을 설명하며 일본어의 보통체와 정중체를 예로 든다. 카탈로그에서 “snap lock”을 특정 부품명으로 사용한다고 하자. 제약이 없으면 첫 페이지와 다섯 번째 페이지에 서로 다른 일반 용어를 쓸 수 있다. 짧은 용어집으로 의도한 표현을 지정하고, 정확한 부품명과 인접 문장 부호, 같은 단어가 일반 의미로 쓰인 경우를 비교한다. 예시는 시험 설계이며, 용어집을 안정적으로 따르는지는 결과로 판단한다. PFN 기술 사용 예제

어조도 확인할 수 있다. 매장 직원이 같은 영어 공지로 고객에게는 정중한 버전을, 내부 점검표에는 담백한 버전을 만들 수 있다. 원문을 고정하고 두 요청을 실행한다. 부르는 말과 문장 끝이 바뀌었는지 보고, 요구 행동과 날짜, 수량은 그대로인지 확인한다. 어조 변경으로 안전 지시가 약해졌다면 사람이 수정해야 한다.

처음에는 작업에 꼭 필요한 용어집이면 충분하다. 제품 용어 다섯 개, 단위 두 개, 그대로 유지할 이름에 대한 지시 한 줄을 넣는다. 새 실패를 발견하면 포괄적인 규칙을 여러 개 추가하기보다 해당 사례를 시험에 더한다. 프롬프트와 용어집, 모델 파일 버전을 함께 기록하면 나중에 어떤 변경이 효과가 있었거나 품질을 떨어뜨렸는지 확인하기 쉽다.

오프라인에서 실제로 작동하는지 측정한다

연결이 있을 때 실행 환경을 설치하고 선택한 파일을 받는다. PFN의 공식 GGUF 안내는 제공된 chat_template.jinja를 모델과 함께 쓰는 llama-server 예제를 제공한다. 모델 전용 템플릿을 쓰고 로컬 접근이 목적이라면 시험 서버는 기기 자체에만 연결되도록 설정한다. 예제 문맥 예산은 16,384토큰이다. 개별 메시지에는 더 짧아도 충분할 수 있으며 입력과 생성 결과를 모두 담을 여유가 필요하다. 공식 GGUF 실행 안내

설치가 끝나면 기기의 네트워크를 끄고 앱이 한 번도 보지 못한 문장을 넣는다. 앱을 새로 실행해도 번역되는지 확인한다. 기기 안에서만 처리한다고 약속하는 제품이라면 분석, 업데이트, 동기화, 외부 제공자 대체 동작을 따로 점검한다. 로컬 모델은 기기에서 텍스트를 처리할 수 있게 해준다. 실제로 무엇이 기기 밖으로 나가는지는 앱 전체의 데이터 흐름에 달려 있다.

파일 준비부터 연결을 끊은 뒤 숫자·용어·어조를 확인하기까지 오프라인 번역 시험

짧은 오프라인 시험에서도 기기 내 실행과 의미 보존을 함께 확인한다. Telli.sh 제작 도해.

협업에서는 원문과 로컬 번역 결과, 검토자가 고친 번역을 별도로 남긴다. 고객 지침이나 개인 서신을 누가 볼 수 있는지 제한한다. 개인정보 보호 효과는 업무 흐름 전체에서 입증해야 한다. 수정 문장을 클라우드 채팅에 보내거나 앱이 기록을 백업한다면 번역 실행과는 별도로 데이터 이동을 파악한다.

시험을 넘어 도입하기 전에 라이선스를 확인한다

11월 9일 개정 PLaMo Community License의 표준 조건에서는 상업적 이용에 사전 등록이 필요하다. 이용자 또는 계열사의 연간 수익이나 매출이 10억 엔을 초과할 수 없다. PFN 기술 글은 비상업적 이용에 등록과 매출 기준이 적용되지 않는다고 설명한다. 상업 이용에서 기준을 넘으면 별도 계약이 필요하다. 조직에 적용되는 최신 라이선스와 등록 조건을 확인한다. 가중치의 이용 조건과 번역 결과가 업무 기준을 충족하는지는 별개다. PLaMo Community License 3조와 4조 · PFN 라이선스 설명

개인 시험이 성공해 회사 앱으로 이어질 때 특히 중요하다. 각 기기가 PFN에서 가중치를 받을지, 앱에 포함해 배포할지 정해야 한다. 4조에 따르면 모델이나 파생 모델을 다른 사람에게 제공하는 배포자는 라이선스를 함께 전달하고 “Built with PLaMo” 표시를 포함해야 한다. 이 밖의 조건도 적용된다. 업데이트와 저장 공간 한도, 로컬 번역이 켜진 상태를 사용자가 알아볼 방법을 설계한다. 비행기 모드에서 한 번 번역하는 것과 다른 사람이 의존하는 도구를 만드는 것 사이의 구체적인 차이다.

첫 시험은 작아도 된다. 언어 방향과 텍스트 유형, 양자화를 각각 하나씩 정한다. 허락을 받아 문장 열두 개를 모으고 오역이 행동을 바꾸는 사례를 세 개 넣는다. 실행 환경을 설치하고 첫 시작 시간을 확인한 뒤 연결을 끊고 실행한다. 원문을 보면서 결과를 읽고, 도입 여부가 달라질 수 있을 때만 같은 세트를 더 큰 구성에서 돌린다. 번역대로 행동하기 전에 확인이 필요한 경우를 기록한다.

가장 의미 있는 결과는 구체적이다. 특정 기기에서 일정한 종류의 텍스트를 연결 없이 번역하며, 기록할 수 있는 지연 시간 안에 독자에게 중요한 용어와 숫자가 보존되는 것이다. PLaMo 3 Translate는 이를 시험할 네 가지 크기를 준다. 사람들이 이미 갖고 다니는 기기에서 이 결과를 얻을 수 있다면 작은 파일을 시험해 볼 이유가 생긴다.

출처


번역 시험과 원문, 검토한 수정 사항을 검색 가능한 노트에 모으려면 Telli.sh 계정을 만드세요.


← 블로그로 돌아가기