RAM을 더 쓰려는 Strata 0.2.17, 업무용 PC에서도 허용해도 될까?
Strata의 새 메모리 예산은 SSD 읽기를 줄이고, 별도의 기본값 변경은 출력 충실도를 지킵니다. 업무를 함께 처리하는 PC에 맞는 설정과 비교 방법을 살펴봅니다.
로컬 모델의 답변이 빨라져도, 정작 그 컴퓨터를 쓰기는 더 불편해질 수 있습니다. 브라우저와 편집기, 화상 통화까지 함께 실행하는 기기라면 두 결과를 같은 벤치마크에서 살펴봐야 합니다.
2026년 11월 20일 출시된 Strata 0.2.17은 이러한 절충을 특히 분명하게 보여줍니다. 모든 전문가 가중치를 RAM에 유지할 수 없는 특정 모델 파일에 대해, 성능을 우선하는 설정에서 상주 메모리 할당량을 늘렸습니다. 한편 답변 품질이 나빠졌다는 사용자 보고에 따라 별개의 최적화는 기본적으로 껐습니다.
핵심 질문은 PC가 추론 전용 기기인지, 여전히 일상 업무를 처리하는 컴퓨터인지입니다. 이번 업데이트는 초당 토큰 수가 높아졌다는 사실만으로 결론을 내리기보다, 그 차이를 직접 비교해 볼 이유를 제공합니다.
알아둘 세 가지: 64 GiB 사례는 지원되는 Unsloth 파일과 명시된 하드웨어 구성에 한정됩니다. 앱에서는 기존의 업무 친화적인 예산을 유지할 수 있습니다. 메모리에 가중치를 유지하는 설정과 모델의 일부 연산 경로를 건너뛰는 설정은 서로 다릅니다.
7 GiB를 더 쓰면 SSD 읽기가 크게 줄어들 수 있다
Strata는 기기의 자원을 조율해 지원 모델을 실행하는 로컬 모델 런타임입니다. 0.2.16에서 설명한 엔진 전환 이후, 새 앱과 Terminal 버전은 0.2.17이 됐습니다. 엔진과 Control 업데이터 버전은 0.1.63입니다. Windows, Linux, Mac, DGX Spark용 다운로드가 제공되지만, 특정 운영체제용 파일이 있다는 사실이 모든 모델과 실행 경로가 모든 기기에서 작동한다는 뜻은 아닙니다.
메모리 변경은 전문가 전체를 RAM에 유지할 수 없을 때 사용하는 Unsloth UD-Q4_K_XL 및 UD-IQ4_XS 파일에 적용됩니다. 새 설정 규칙은 RAM 총량에서 17 GiB와 스트리밍되는 KV 캐시를 뺀 뒤, 얼마만큼의 전문가 가중치를 유지할지 결정합니다. 기존 규칙은 24 GiB를 뺐습니다. 이는 특정 실행 경로의 상주 예산이며, 모델 전체와 캐시, 운영체제가 그 수치 안에 모두 들어간다는 보장은 아닙니다.
몇 GiB가 왜 중요할까요? 필요한 가중치가 이미 메모리에 있으면 런타임은 저장장치에서 이를 다시 가져오지 않아도 됩니다. 처리량이 많은 프롬프트에서는 여러 번의 접근에 걸쳐 이 이점을 반복해서 얻을 수 있습니다. 따라서 그 관계는 7 GiB와 입력 파일 하나의 크기를 비교하는 것보다 복잡합니다. 작업이 어떤 전문가를 사용하는지, 런타임이 무엇을 이미 캐시에 보관했는지에도 영향을 받습니다.
관리자가 제시한 사례는 실제 메모리 제한 64 GiB, UD-Q4_K_XL, RTX PRO 4500 Blackwell 카드, 약 65K 토큰의 프롬프트를 사용합니다. 릴리스 표는 다음 결과를 제시합니다. 해당 구성에서 프로젝트가 측정한 수치이며, 모든 64GB 컴퓨터의 성능을 예측하는 값은 아닙니다.
| 전문가 가중치 상주 예산 | 해당 프롬프트의 SSD 읽기 | 디코드 속도 | 보고된 여유 RAM | 이후 실행한 8 GiB 프로그램 |
|---|---|---|---|---|
| 40 GiB, 기존 사례 | 97.7 GB | 57.7 토큰/초 | 16.6 GiB | 계속 실행됨 |
| 47 GiB, 새 사례 | 37.0 GB | 84.2 토큰/초 | 9.3 GiB | 계속 실행됨 |
| 52 GiB, 추가 시험 | 0.9 GB | 83.4–88.6 토큰/초 | 6.6 GiB | 강제 종료됨 |
눈여겨볼 부분은 마지막 행입니다. 저장장치 접근량을 거의 0으로 줄여도 디코드 속도가 그에 비례해 크게 높아지지는 않았고, 다른 프로그램은 실행을 유지하지 못했습니다. 이 표는 추론에 할당하는 메모리를 최대화하기보다 적절한 예산을 측정해 정해야 하는 이유를 보여줍니다.
자체 제작 설명 도식: 전문가 가중치, 런타임의 변화하는 캐시, 일상 앱은 기기의 메모리를 함께 사용합니다. 릴리스의 상주 규칙은 명시된 모델 경로에만 적용됩니다.
앱의 업무용 여유 공간부터 선택해 볼 만하다
개발자 워크스테이션을 예로 들어보겠습니다. 브라우저는 오래 열려 있고, IDE는 저장소를 인덱싱하며, 로컬 어시스턴트는 큰 문서에서 답변을 준비합니다. IDE가 스왑을 시작하거나 화상 회의가 불안정해진다면, 어시스턴트만 실행했을 때 가장 빠른 설정의 가치는 줄어듭니다. 기준은 전체 업무 세션이어야 합니다.
Strata 앱에는 “Leave 20% for my work”라는 옵션이 있습니다. 릴리스에 따르면 이 옵션은 기존 예산을 유지합니다. 64 GiB 사례에서는 40 GiB입니다. Terminal, strata serve, Docker, 앱의 전체 성능 모드는 새 할당량을 사용합니다. 사용자가 직접 지정한 예산이나 명시적인 여유 공간 설정이 우선합니다. 기존 0.2.16 설치에서는 사용자가 할당량을 명시적으로 정하지 않았다면, 업데이트 후 첫 Strata 명령에서 별도 설정 실행 없이 한 차례의 예산 이전이 적용될 수 있습니다.
두 사람이 기본 설정을 시험했다고 말할 때 이 차이가 중요합니다. 한 명은 데스크톱의 업무용 여유 공간 모드를 쓰고, 다른 한 명은 Terminal에서 서버를 실행했을 수 있습니다. 같은 앱 버전을 실행해도 상주 할당 결정은 달라질 수 있습니다. 결과를 비교하기 전에 버전과 함께 실행 모드를 기록하세요.
릴리스에는 예외도 나옵니다. Strix Halo처럼 CPU와 GPU가 메모리를 공유하는 기기와 두 카드에 레이어를 분할하는 경로는 기존 여유 공간을 유지합니다. 함께 나열된 다른 모델 파일인 IQ2_XS, IQ3_XXS, IQ3_S, Q2_0에는 두 버전 모두 이 상주 예산이 적용되지 않습니다. 따라서 특정 사례에서 가져온 메모리 규칙으로 정확한 모델 구성을 확인하는 절차를 대신하기는 어렵습니다.
Windows의 새 엔진은 초기 확보량을 현재 사용 가능한 여유 메모리에서 4.25 GiB를 뺀 값으로 추가 제한합니다. 이미 여러 작업을 실행 중인 기기는 대표 사례의 47 GiB보다 적게 확보하고 시작할 수 있습니다. 릴리스는 이러한 Windows 동작을 해당 사례에서 측정하지 않았다고 명시합니다. 시스템이 약 63.1 GiB를 보고할 때 명목상 64GB인 Windows 기기를 분류하는 방식도 조정했습니다. 이러한 세부 사항은 실제 할당량이 다르게 나온 이유를 이해하는 데 도움이 되지만, 공개된 시험이 Windows 벤치마크가 되는 것은 아닙니다.
직접 조작하며 쓰는 컴퓨터라면 여유 공간 옵션부터 시작하기를 권합니다. 시험을 위해 우연히 닫아 둔 앱의 메모리를 가져다 쓰기보다, 실제 작업을 실행한 상태에서 더 큰 할당량을 의도적으로 비교해 보세요.
빠른 답변과 충실한 답변에는 별도의 스위치가 필요하다
두 번째 주요 변경은 Expert 설정의 “Skip rarely used parts of the model”과 관련되며, STRATA_ROUTE_TAIL_SKIP으로 표현됩니다. 이 설정은 RAM 예산과 다릅니다.
릴리스 설명에 따르면 관련 라우팅 조건에서 이 최적화는 원래라면 복사하고 계산할 전문가 연산을 생략할 수 있습니다. 이전에는 NVIDIA와 Radeon RX 9000 경로에서 기본적으로 작동했습니다. 관리자는 품질 저하 보고에 따라 자동 동작을 바꿨습니다. 0.2.17에서는 사용자가 명시적으로 켜지 않은 한 꺼집니다.
필요한 가중치를 프로세서 가까이에 유지하는 것과 모델 연산 일부를 수행하지 않기로 하는 것은 중요한 차이가 있습니다. 전자는 데이터를 찾는 위치를 바꿉니다. 후자는 계산 자체를 바꿉니다. 둘 다 처리량을 높이더라도 출력 위험까지 같은 기법처럼 평가해서는 안 됩니다.
관리자의 RTX 5090 사례에서는 UD-Q4_K_XL과 DFlash2를 사용해 다섯 종류의 요청을 두 차례 시험했습니다. 평균 디코드 속도는 경로 생략을 껐을 때 73.4 토큰/초, 켰을 때 94.5 토큰/초였습니다. 같은 기록에는 강제 토큰 발산 측정도 포함됩니다. 이는 프로젝트가 공개한 구성 비교이며, 결과 답변이 사용자의 앱에서 유용하거나 안전하거나 정확했는지를 나타내는 점수는 아닙니다.
실제로는 업데이트 후 특정 경로의 처리량이 줄어들면서 더 완전한 라우팅 동작이 복원될 수 있습니다. 이는 의도한 결과일 수 있습니다. 정확한 수치 확인, 구조화된 출력 생성, 어려운 지시 수행이 목적이라면 더 빠른 텍스트 출력보다 원하는 동작을 지키는 것이 중요할 수 있습니다.
자체 제작 평가 체크리스트: 자원 압박과 답변 품질을 각각 측정합니다. 메모리 상주량 변경과 경로 생략 변경은 서로 다른 실험입니다.
기존 사용자 설정도 업데이트 이력의 일부다
자동 기본값과 명시적 선택은 같은 방식으로 이전되지 않습니다. 경로 설정을 바꾼 적이 없거나 자동값을 사용했다면 새 자동 동작은 꺼짐입니다. rank 7이나 다른 rank를 명시적으로 선택했다면 그 선택은 유지된다고 릴리스는 설명합니다. 명시적인 0도 꺼짐 상태로 유지됩니다.
이 방식은 의도한 구성을 보호하지만, 기기 두 대를 업데이트해도 반드시 같은 동작을 하게 되지는 않는다는 뜻입니다. 한쪽에는 누군가 몇 달 전 켰던 실험 설정이 남아 있을 수 있습니다. 성능이나 품질 저하를 진단하기 전에 이전된 설정부터 확인하세요.
릴리스는 rank-7 동작을 켜는 방법으로 strata launch --set STRATA_ROUTE_TAIL_SKIP=7을 안내합니다. 모두가 실행해야 할 업데이트 단계가 아니라, 원하는 사람이 선택하는 실험으로 보세요. 해결하려는 문제가 출력의 일관성 부족이라면, 예전 처리량을 되찾으려고 최적화를 켜기 전에 경로 최적화가 꺼져 있는지 먼저 확인하세요.
0.2.17에는 하드웨어별 프롬프트 읽기와 디코드 변경 등 다른 기본값도 있습니다. 일부는 생성되는 텍스트를 바꿀 수 있습니다. 여러 설정을 한꺼번에 바꾸고 모든 차이를 RAM 탓으로 돌리지 말아야 하는 이유가 하나 더 있는 셈입니다. 실제 시험 구성은 버전, 모델 파일, 하드웨어 경로, 명시적 재정의 설정의 조합입니다.
계속 열어 둘 앱과 함께 비교한다
유용한 시험에 연구실까지 필요하지는 않지만, 반복할 수 있는 질문은 필요합니다. 업무용 PC에서는 나머지 컴퓨터를 계속 편하게 쓰면서 어시스턴트가 대표 작업을 마치는지 확인하세요. 전용 서버에서는 선택한 예산이 메모리 오류 없이 함께 실행할 서비스를 뒷받침하는지 물어야 합니다.
- 시작 구성을 기록합니다. 앱과 엔진 버전, 운영체제, RAM, GPU, 정확한 모델 파일, 실행 모드, 컨텍스트 크기, 명시적인 메모리·경로 설정을 적어 두세요. 비교 중에는 모델과 양자화를 유지합니다.
- 대표 작업 세 가지를 고릅니다. 예를 들어 짧은 질문, 긴 문서 요청, 필수 필드를 미리 아는 구조화된 추출을 선택할 수 있습니다. 이는 제안하는 시험 사례이며, 이 글을 위해 직접 수행한 작업은 아닙니다.
- 업무용 여유 공간을 기준으로 삼습니다. 브라우저와 편집기, 평소 쓰는 다른 앱을 열어 두세요. 여유 메모리, 저장장치 활동, 첫 응답 지연, 생성 속도, 해당 앱의 반응성을 관찰합니다.
- 상주량만 바꿉니다. 경로 설정을 유지한 채 성능 우선 할당량을 비교하세요. 작업 도중과 이후 다른 일반 앱을 실행할 때 메모리 압박을 살펴봅니다.
- 출력을 평가합니다. 필수 사실, 형식, 지시 준수, 반복 실행의 일관성을 확인하세요. 문법적으로 유효해도 필수 항목이 빠진 추출은 실패로 취급합니다.
- 필요하면 경로 생략을 별도로 시험합니다. 선택한 상주 예산을 유지하세요. 승인 기준으로 정한 예시와 결과를 비교한 뒤, 관찰된 변화가 처리량 증가를 감수할 만한지 판단합니다.
긴 문서에서는 콜드 스타트와 반복 요청을 모두 기록하세요. 캐시 때문에 두 번째 실행이 첫 번째와 매우 달라 보일 수 있습니다. 한 구성의 캐시가 준비된 결과를 다른 구성이 문서를 처음 처리한 결과와 섞지 마세요.
실패도 평균에 묻어 버리지 말고 기록하세요. 빠른 답변 뒤에 메모리 부족이 발생한다면 백그라운드 서비스로서는 좋은 결과가 아닙니다. 다른 설정의 디코드 속도가 더 높아도, 업무용 노트북에서는 편집기를 중단 없이 쓰는 것이 결정적인 결과일 수 있습니다.
좋은 설정은 실제 업무에 쓸 공간을 남긴다
Strata 0.2.17은 로컬 추론을 단일 가속기 벤치마크보다 작은 공유 컴퓨터 관리에 가깝게 만듭니다. 메모리는 함께 쓰는 책상과 같습니다. 모델 자료를 더 올려놓으면 저장장치를 오가는 횟수는 줄어들지만, 실제 업무를 펼칠 자리도 필요합니다.
전용 기기에서는 새 할당량을 통해 읽기 감소가 서비스하는 작업을 개선하는지 측정해 볼 수 있습니다. 일상 워크스테이션에서는 여유 공간 옵션이 합리적인 출발점입니다. 두 경우 모두 출력 충실도를 별도의 승인 기준으로 유지하세요. 토큰 계수기만이 아니라 전체 작업이 나아질 때 더 빠른 설정의 가치가 입증됩니다.
출처와 공식 미디어
- Strata 0.2.17 릴리스, 2026년 11월 20일: 설정, 조건이 명시된 측정, 업데이트 동작.
- Strata 0.2.16 엔진 전환 기록.
- Strata 공식 인터페이스 이미지. 실제 대상을 보여주는 링크이며, 글에 포함한 도식은 자체 제작한 설명 자료입니다.
위 측정값은 해당 프로젝트의 수치이며 하드웨어와 모델 조건을 유지해 인용했습니다. 평가 절차는 독자에게 제안하는 작업 방식입니다.
Telli.sh 추천: 구성과 대표 프롬프트, 비교 기록을 함께 보관하면 다음 업데이트도 유용한 기준점에서 시작할 수 있습니다. Telli.sh에서 첫 노트 시작하기.