[로컬 AI 현장 노트 01] Strata의 다음 시험대: 내 PC에서 대형 모델을 쓸모 있게 만들기

가장 흥미로운 로컬 AI 데모는 다음 주에도 계속 쓸 수 있는 데모입니다. 게이밍 PC에서 대형 모델이 영리한 답변을 내놓는 것은 중요한 이정표죠. 내일 같은 대화를 다시 열고, 모델 파일을 찾고, 프로젝트를 안전하게 수정하도록 맡길 수 있어야 비로소 쓸모 있는 도구가 되기 시작합니다.

Strata는 2026년 10월 19일 0.2.0-beta를 통해 그 두 번째 범주로 한 걸음 나아갔습니다. 데스크톱 앱과 Terminal 인터페이스, 별도 패키지로 제공되는 엔진이 등장했습니다. 10월 23일에는 0.2.3이 나왔습니다. 다운로드를 고를 때는 베타의 정확한 이름이 중요합니다. 현재 제품은 0.2 릴리스 계열이며, 향후 2.0이 발표된 것은 아닙니다. 베타 릴리스, 10월 23일 릴리스

로컬 AI 현장 노트의 첫 편에서는 이미 컴퓨터를 갖고 있는 사람에게 이 변화가 어떤 이득을 주는지 살펴봅니다. 새 인터페이스를 공개된 하드웨어 사례 세 가지와 연결하고, 모델 선택지와 서로 다른 아키텍처를 구분한 뒤, 로컬 추론을 믿고 매일 쓸 수 있는 서비스로 만들 발전 방향을 짚어봅니다.

코딩 대화와 HTML 미리보기를 보여주는 0.2.3 저장소의 Strata 공식 스크린샷입니다. 이 글에서 직접 수행한 테스트가 아니라 인터페이스를 보여주는 자료입니다. © 2026 Niko1221 and the Strata contributors; 출처, MIT license.

베타는 엔진을 다시 찾아 쓸 수 있는 도구로 바꿨다

데스크톱 앱은 모델 선택, 저장 공간 관리, 채팅, 하드웨어 모니터링, 코딩 작업 공간을 한데 모읍니다. Manual 권한 모드에서는 변경 전에 승인을 요청하고, 권한이 더 넓은 Bypass 모드에서는 에이전트가 더 자유롭게 행동합니다. Terminal은 안내에 따라 진행하는 strata launch 흐름과 코딩 클라이언트 연결을 제공합니다. 둘은 같은 기반 엔진을 공유합니다. 0.2.0-beta 기능 안내

개발자에게는 이해하기 쉬운 활용 예가 생깁니다. 버려도 되는 프로젝트에서 작은 파서를 만들어 달라고 요청하고, 제안된 파일을 확인하고, 테스트를 실행한 뒤, 실패하는 예제를 제시하며 대화를 이어갈 수 있습니다. 문서를 많이 다루는 사람이라면 제공한 구절에 관해 범위를 좁힌 질문을 하고, 이어서 답변을 뒷받침하는 정확한 인용문을 요청하는 일이 비슷한 첫 작업입니다. 어느 쪽도 모델을 자율적인 직원으로 만들 필요는 없습니다.

실질적인 개선은 연속성에 있습니다. 그래픽 모델 선택기는 호환되지 않는 설정으로 시작할 가능성을 줄이고, 하드웨어 모니터는 다른 앱 때문에 성능이 달라지는 이유를 이해하도록 도와줍니다. 저장한 프리셋은 성공한 실험을 반복 가능한 작업으로 바꿔줍니다. 이런 기능이 모델의 추론 능력을 높이지는 않습니다. 그 능력을 사용할 수 있는 상태와 책임 있게 활용하는 상태 사이의 수고를 줄여줍니다.

우리의 관점은 이렇습니다. 로컬 AI의 다음 경쟁은 그 거리를 줄이는 데 있습니다. 좋은 설정을 쉽게 유지하고, 실패를 쉽게 이해하며, 위험한 동작을 쉽게 검토할 수 있게 하는 경험이 앞서갈 것입니다.

컴퓨터의 전체 메모리 체계가 모델의 일부가 된다

Strata의 주력 대상은 핵심 모델에 1,250억 개의 매개변수를 가진 Qwen3.8-Flash-Next입니다. 실행 전략은 공통 연산과 자주 쓰는 전문가에 GPU 메모리를 사용하고, 다른 전문가에는 시스템 RAM과 CPU 연산을 사용하며, n-gram 조회 테이블에는 SSD 접근을 활용합니다. 더 큰 그래픽 카드는 도움이 되지만, 시스템 RAM과 저장 장치도 여전히 추론 경로의 일부입니다. 프로젝트 개요, 실행 설계

PC를 작업대가 여러 개 있는 작업장이라고 생각해 보세요. 가장 빠른 작업대는 공간이 한정되어 있으므로 런타임은 어떤 작업을 그곳에 계속 둘지 결정해야 합니다. 그 판단을 개선하면 기존 하드웨어를 더 유용하게 쓸 수 있습니다. 그렇다고 모든 작업대를 똑같이 빠르게 만들 수는 없습니다.

세 가지 양을 구분해서 봐야 합니다. 다운로드 파일은 저장 공간을 차지합니다. 불러온 가중치와 런타임 버퍼는 메모리를 사용합니다. 컨텍스트 창은 대화가 길어질수록 작업 상태를 추가합니다. 따라서 파일 크기만으로 필요한 VRAM이나 첫 답변이 나타나는 속도를 알 수는 없습니다.

프로젝트가 현재 제시하는 시작 기준은 RAM과 VRAM 합계 최소 32 GB이며, 일반적인 구성에는 약 80 GB의 디스크 여유 공간이 필요합니다. 이는 입문 기준이지, 모든 모델과 컨텍스트 길이, 운영체제가 그 안에 들어간다는 보장은 아닙니다. 기본적인 16 GB 노트북을 아래의 데스크톱과 같은 조건으로 보면 안 됩니다. 하드웨어 요구 사항

모델 이름이 늘어난다고 아키텍처까지 늘어나는 것은 아니다

문서에 기록된 모델 관계를 10월 23일 기준으로 확인해 만든 자체 편집 도식입니다. 분기는 계보와 런타임 지원을 나타내며, 품질이 같거나 파일을 서로 바꿔 쓸 수 있다는 뜻은 아닙니다.

원본 Flash-Next, Swift 1.5, Coder, Gyro는 같은 기반 모델 계열에서 서로 다른 질문에 답하는 선택지입니다. Swift는 미세 조정으로 동작을 바꿉니다. Coder는 코딩이라는 목적에 덜 유용하다고 선별된 전문가를 제거합니다. Gyro는 가중치 표현 방식을 바꿉니다. 이 이름들을 서로 무관한 기반 모델 네 개로 취급하면 실제보다 모델 목록이 넓어 보입니다. 모델 안내

이 차이는 중요합니다. Coder는 각 레이어의 전문가 512개 중 256개를 유지하며, 프로젝트는 일반 작업과 비영어 성능이 약해진다고 경고합니다. 코딩용 데스크톱의 메모리에 맞는다는 이유로 고른 모델을 다국어 문서 질문의 기본값으로 삼아서는 안 됩니다. Swift의 짧은 추론은 하드웨어가 개별 토큰을 더 빨리 생성하지 않아도 전체 소요 시간을 줄일 수 있습니다. 버전별 절충점

Gyro-S의 다운로드 크기는 58.5 GB이지만, 문서에 제시된 RAM과 VRAM을 합친 가중치 메모리 요구량은 27.6 GB입니다. n-gram 테이블은 SSD에 남습니다. 프로젝트의 평가에서는 더 큰 저비트 선택지보다 품질이 낮습니다. 적은 메모리에 들어가는 데도 대가가 따릅니다. Gyro 문서

실제로 별개의 두 번째 모델도 있습니다. Qwen3.6-35B-A3B는 전체 350억 개, 활성 30억 개 매개변수의 전문가 혼합 모델이며, 별도 엔진 경로로 처리됩니다. 문서상 지원되는 NVIDIA와 AMD 구성에서는 이미지와 동시 요청 옵션을 제공하지만, Mac 엔진에서는 실행되지 않습니다. 가장 큰 매개변수 수 자체가 실제 요구 조건이 아니라면 평가해 볼 만한 대안입니다. Qwen3.6 지원

공개된 컴퓨터 세 대가 서로 다른 쓸모를 보여준다

다음 사례는 커뮤니티 기여자나 프로젝트 자체가 공개한 결과입니다. 이 글에서 직접 테스트한 것이 아니라 특정 구성에서 측정한 값입니다. 목적은 서로 다른 프롬프트로 컴퓨터 세 대의 순위를 매기는 것이 아니라, 가능한 작업과 그 비용을 보여주는 데 있습니다.

출처: RTX 3060 보고서, RX 9060 XT 보고서, Mac 측정. 이 보고서들은 현재 앱 릴리스보다 앞서거나 다른 조건을 사용합니다.

RTX 3060 사례는 출력 전 대기 시간을 포함하므로 유용합니다. 초당 약 43토큰을 표시하는 인터페이스라도 질문을 읽는 동안에는 멈춰 있을 수 있습니다. 보고서는 발열로 인한 속도 저하와 통제하지 않은 백그라운드 활동도 기록합니다. 이상적인 GPU 사양 대신 한 컴퓨터에서 나타나는 현실적인 범위를 보여준다는 데 가치가 있습니다.

Radeon 사용자에게는 단순한 속도 반복 측정 이상으로 구체적인 작업 흐름의 근거가 있습니다. 기여자는 코딩 클라이언트를 통해 합성 TypeScript 작업 세 가지를 모델마다 세 번씩 실행했고, IQ2_XS와 IQ3_XXS 모두 총 아홉 번의 작업 실행을 통과했습니다. IQ2 구성은 호스트 메모리를 덜 쓰면서 이 한정된 작업들을 더 빨리 끝냈습니다. 이는 테스트 가능한 코딩 작업을 시도할 근거가 되지만, 낯선 저장소에서도 품질이 같다는 증거는 아닙니다. 코딩 비교와 테스트 자료

Mac 사례는 다른 질문에 답합니다. 비교적 작은 32 GB 시스템도 참여할 수 있을까요? 공개된 스트리밍 구성에서는 가능합니다. 다만 Mac 문서에 있는 별도의 약 30K토큰 IQ3_XXS 프롬프트는 첫 출력까지 5.6분이 걸렸습니다. 기다릴 수 있는 일괄 작업과 중단에 민감한 어시스턴트는 허용할 수 있는 지연 시간이 다릅니다. Mac 스트리밍 측정

독자가 가져갈 판단 기준은 이것입니다. 짧은 질문으로 대화형 응답성을 확인하고, 긴 문서로 프롬프트 비용을 확인하며, 검증 가능한 작업으로 답변의 유용성을 확인하세요. 숫자 하나가 이 세 가지를 모두 대신하지는 못합니다.

10월의 수정 사항은 설정 기록에 버전 번호가 필요한 이유를 보여준다

10월 23일 릴리스는 Windows Strix Halo 테스트 컴퓨터에서 IQ3_S를 사용했을 때 답변 속도가 6~19% 개선됐다고 보고합니다. 0.2.2와 세 쌍을 비교 실행한 결과입니다. A750을 테스트 카드로 사용한 Intel Arc Linux SYCL 엔진 패키지도 제공합니다. DFlash2 드래프팅은 Terminal에서만 명시적으로 선택해 사용할 수 있습니다. 모든 작업에서 대안이 우세한 것은 아니므로 Auto는 계속 MTP를 선택합니다. 0.2.3 측정과 제약

이런 개선 옆에는 일상적인 소프트웨어 유지보수가 있습니다. 10월 20일의 v0.2.1.2 태그는 Strix Halo의 Windows 시작 문제를 해결했습니다. 하드웨어 가이드는 앞선 문제의 원인을 설명합니다. 전문가 영역을 등록하면서 사용 가능한 GPU 메모리가 소진되어 캐시에 할당할 슬롯이 남지 않았습니다. 메모리 소유권을 바로잡기 전에는 지원되는 칩과 설치 프로그램만으로 충분하지 않았습니다. v0.2.1.2, Strix Halo 시작 문제 설명

현재 거친 부분도 남아 있습니다. 10월 23일 열린 이슈 #3810은 패키지에 포함된 비전 메타데이터와 관련된 Windows CUDA 설정 충돌을 보고합니다. 이는 이 글의 조사 마감 시점에 해결을 기다리는 사용자 보고이며, 모든 Windows 설치가 실패한다는 증거는 아닙니다. 같은 경로에서 문제가 발생한다면 모델을 다시 조정하는 데 몇 시간을 쓰기 전에 해당 이슈와 후속 릴리스 노트를 확인하세요. Windows 설정 보고

업그레이드에도 주의가 필요합니다. 0.2.3 안내는 0.2.0-beta부터 0.2.1.2까지의 사용자가 Terminal 설치 프로그램을 다시 실행하도록 지시합니다. 해당 버전들은 Control 구성 요소를 스스로 전환할 수 없기 때문입니다. 설치 프로그램은 모델과 설정을 유지합니다. Mac에서는 원하는 서명된 배포물이 실제로 올라왔는지 확인하세요. 같은 릴리스의 알려진 제약 항목에는 게시 당시 Mac 빌드가 아직 서명 중이었다고 적혀 있습니다. 업그레이드 안내

유용한 작업 하나와 짧은 컨텍스트로 시작하자

가치가 있는지 알아보기 위해 거대한 컨텍스트 데모를 재현할 필요는 없습니다. 작은 작업을 성공적으로 한 바퀴 돌려보면 실패와 수정까지 포함한 기준선을 얻을 수 있습니다. 저장 공간을 더 쓰거나 에이전트에게 폭넓은 행동을 맡기기 전에 확보할 기준입니다.

1. 하드웨어에 맞는 공식 경로를 선택하세요. 공식 릴리스 페이지를 열고 운영체제와 GPU에 맞는 패키지를 고르세요. 앱과 엔진 버전은 따로 기록하세요. 업그레이드를 평가하는 동안 이미 잘 작동하는 설치 환경을 보존하세요.
2. 여유 메모리, 언어, 작업에 맞춰 모델을 고르세요. 첫 시도에서는 무거운 앱을 닫으세요. 권장 크기와 약 8K 컨텍스트, 동시 요청 하나로 시작하세요. 모델 파일은 로컬 SSD에 두세요.
3. 안내형 설정을 사용하세요. 데스크톱 모델 선택기나 strata launch에서 모델, 저장 공간, 컨텍스트, 이미지, 접근 설정을 지정할 수 있습니다. 첫 코딩 연습에서는 로컬 전용 접근과 Manual 권한을 유지하세요. Terminal 가이드
4. 검증할 수 있는 것을 물어보세요. 테스트가 있는 작은 함수, 제공한 문서에 관한 질문 세 개, 이미 아는 라벨이 담긴 스크린샷을 시도해 보세요. 프롬프트를 저장하고 실제 출처나 테스트 출력과 답변을 대조하세요.
5. 전체 대기 시간을 측정하세요. 시작 시간, 첫 출력까지의 시간, 전체 작업 시간, 최대 메모리, 정확성을 기록하세요. 그런 다음 캐시가 있는 후속 질문과 새로운 프롬프트로 각각 한 번씩 반복하세요. 비교하는 동안 드래프팅과 추론 설정은 그대로 두세요.
6. 변수를 하나씩 바꾸며 복잡도를 높이세요. 작업에 필요할 때만 컨텍스트를 늘리세요. 이미지, 다른 모델, 코딩 클라이언트 연결은 따로 평가해야 성능이나 품질이 나빠졌을 때 구체적인 원인을 짚을 수 있습니다.

공유 가능한 성능 보고서를 위해 Strata는 strata bench run을 제공합니다. 표준화된 프로토콜은 10월 23일에도 파일럿 검증을 기다리는 초안이었으며, 모델 로딩과 측정 대상 추론을 명시적으로 분리합니다. 중요한 습관은 지금도 유용합니다. 결과에 하드웨어, 양자화, 실제 적용된 설정, 작업 결과를 함께 기록하세요. 벤치마크 프로토콜

추론을 로컬에 두어도 경계에서의 판단은 남는다

Strata의 개인정보 보호 문서는 사용량 텔레메트리가 없으며 다운로드한 모델을 오프라인으로 실행할 수 있다고 설명합니다. 웹 검색, 열린 페이지, 원격 모델 서비스, 터널, 설정한 도구는 사용할 때 외부 연결을 만듭니다. 따라서 모델과의 대화를 비공개로 유지하려면 주변 작업 흐름도 비공개여야 합니다. 네트워크와 다운로드 동작

이는 특히 문서와 코딩 예시에 중요합니다. 파일을 읽고 명령을 실행할 수 있는 어시스턴트는 텍스트 생성 이상의 능력을 갖습니다. 기밀 자료를 제공하기 전에 작업 폴더, 제안된 정확한 명령, 외부 도구의 엔드포인트를 검토하세요. 잘못된 수정을 복구할 수 있도록 원본과 버전 이력을 유지하세요.

기본 추론 리스너는 127.0.0.1을 사용합니다. 네트워크 리스너를 열면 접근할 수 있는 대상이 바뀝니다. Strata는 API 키와 별도의 공유 리스너를 문서화했지만, 접근을 활성화하는 사람이 그 결정의 책임을 집니다. 호환 API는 클라이언트 연결을 편리하게 해주며, 가능한 모든 클라이언트 구성을 비공개로 만들어주지는 않습니다. 보안 정책

Project Maya는 이 아이디어의 확장성과 비용을 보여준다

더 넓은 변화는 런타임 전략이 다른 모델 계열로 확장되고 있다는 점입니다. Project Maya는 자체 모델을 위해 상당한 작업을 추가했으며, 엔진과 서버, 대시보드의 출발점으로 Strata를 명시적으로 밝힙니다. 문서상 대상에는 GLM-5.3-Flash, 321B와 DeepSeek-V4.1-Flash-1017, 748B가 포함됩니다. Strata의 모델 메뉴 선택지가 아니라 별개의 프로젝트입니다. Maya 모델과 크레딧

GLM Maya-S의 다운로드 크기는 96.5 GB이며, DeepSeek Maya-S 선택지는 Engram 테이블을 포함해 340 GB를 차지합니다. 커뮤니티 사례 하나는 RTX 5090 한 장에 Ryzen 9 7950X와 RAM 96 GB를 조합해 GLM Maya-M에서 초당 30토큰 이상을 보고합니다. 이 조건들은 소비자용 구성을 설명할 때 “GPU 한 장”만으로는 부족한 이유를 보여줍니다. Maya 파일과 하드웨어 보고

기회는 분명합니다. 컴퓨터는 여러 단계의 저장 장치와 연산 자원을 결합해 전체 가중치가 가속기 메모리보다 큰 모델을 서비스할 수 있습니다. 비용도 함께 커집니다. 수백 GB의 다운로드, 모델별 커널, 여유 시스템 메모리, 실험적인 플랫폼 지원은 상당한 투입을 요구합니다. 대형 모델 하나의 이식에 성공했다고 해서 모든 아키텍처에 통하는 범용 로더가 생기는 것은 아닙니다.

대부분의 독자에게 Maya는 당장 교체 대상으로 추천할 제품에 앞서 지켜볼 변화입니다. 중요한 질문은 다른 모델이 현재 모델로 실패하는 작업을 해결하며, 추가 하드웨어와 유지보수를 감수할 만큼 이득을 주느냐입니다. 매개변수 수만으로는 답할 수 없습니다.

다음 이정표는 믿고 맡길 수 있는 작업이며, 공개 제안도 그곳을 향한다

자체 편집 프레임워크입니다. 위쪽 흐름은 도입 판단 기준을 설명하고, 아래쪽 행은 10월 23일 확인한 공개 제안을 보여줍니다. 약속된 릴리스 일정이나 성능 전망이 아닙니다.

열려 있는 초안 풀 리퀘스트 두 개가 상상 속 2.0 로드맵보다 구체적인 신호를 줍니다. #3806은 현재 지원하지 않는 Gyro-L의 trellis 형식을 지원하자고 제안합니다. #3800은 구조화된 JSON 출력에 토큰 마스킹을 적용해 잘못된 생성으로 전체 요청을 다시 시도하는 횟수를 줄이자고 제안합니다. 둘 다 10월 23일 기준 초안이었으며, 출시된 기능 목록에 넣어서는 안 됩니다. Gyro-L 제안, 구조화 출력 제안

이런 작업이 안정적인 릴리스에 도달하면 두 종류의 로컬 작업이 이득을 얻습니다. 형식 지원이 나아지면 사용자가 메모리와 품질을 절충할 선택지가 늘어납니다. 더 믿을 만한 구조화 출력은 문서 추출, 라벨링, 도구 호출에서 다른 프로그램이 안전하게 검증할 수 있는 데이터를 만드는 데 도움이 됩니다. 두 번째 개선은 영상에서 덜 화려하지만 반복 작업에서는 더 가치 있을 수 있습니다.

우리의 전망에는 조건이 있습니다. 런타임이 작동하는 설정을 보존하고, 메모리 사용을 제한하며, 실패에서 회복할수록 개인용 추론은 더 유용해집니다. 더 많은 백엔드 이식과 더 똑똑한 드래프팅은 독자가 실제 작업과 연결할 수 있을 때 의미가 있습니다. 데스크톱 모델은 확인하고 반복할 수 있는 결과물을 내놓아야 자리를 얻습니다.

그러므로 다음 로컬 AI 컴퓨터에 던질 질문은 단순합니다. 내일 같은 유용한 작업을 맡기고, 계속 사용할 만큼 그 과정을 믿을 수 있을까요?

출처와 읽기 참고 사항

조사 마감일: 2026년 10월 23일. 릴리스 상태, 이슈 상태, 다운로드 가능한 배포물은 그 이후 바뀔 수 있습니다. 위 측정값은 원래 공개 날짜와 구성을 유지했습니다. 이 글을 위해 새 추론 벤치마크를 수행하지 않았습니다.

• Strata 0.2.0-beta, v0.2.1.2, 0.2.3 릴리스 노트.
• Strata 모델 안내, Qwen3.6 지원, Gyro 문서.
• 커뮤니티 벤치마크 모음, Mac 문서, 벤치마크 프로토콜 초안.
• Project Maya, Strata 공식 스크린샷, 저장소 라이선스.

로컬 AI의 판단과 근거를 함께 보관하세요

구성을 비교할 때 출처 링크, 하드웨어 설정, 작업 결과, 수정 사항을 한곳에 모아두세요. Telli.sh는 설정이 발전하는 과정에서 이런 조사 노트와 요약을 정리하도록 도와줍니다. Telli.sh 계정 만들기