AI hardwareDoc trong 14 phut

Strata 0.2.17 muốn dùng thêm RAM. Máy tính làm việc của bạn có nên đồng ý?

Ngân sách bộ nhớ mới của Strata có thể giảm lượng đọc SSD, còn một thiết lập mặc định riêng bảo vệ độ trung thực của đầu ra. Cùng chọn cấu hình phù hợp cho máy tính kiêm công việc và kiểm tra sự đánh đổi.

K
Ken Jo

Một mô hình cục bộ có thể trả lời nhanh hơn nhưng lại khiến phần còn lại của máy tính khó sử dụng hơn. Trên chiếc máy còn chạy trình duyệt, trình soạn thảo và các cuộc gọi video, cả hai kết quả ấy cần được tính trong cùng một phép đánh giá.

Strata 0.2.17, phát hành ngày 20 tháng 11 năm 2026, làm sự đánh đổi đó trở nên đặc biệt rõ ràng. Với một số tệp mô hình không thể giữ toàn bộ trọng số chuyên gia trong RAM, cấu hình ưu tiên hiệu năng tăng lượng bộ nhớ dành để lưu thường trú. Bản phát hành cũng tắt một tối ưu hóa riêng sau khi người dùng báo cáo chất lượng câu trả lời giảm.

Câu hỏi hữu ích là PC của bạn là một máy suy luận chuyên dụng hay vẫn là máy tính làm việc hằng ngày. Bản cập nhật này tạo lý do để kiểm tra sự khác biệt ấy, thay vì coi con số token mỗi giây cao hơn là toàn bộ kết quả.

Ba điều cần biết: ví dụ 64 GiB chỉ áp dụng cho các tệp Unsloth được hỗ trợ và cấu hình phần cứng đã nêu; ứng dụng có thể giữ lại ngân sách cũ thân thiện với công việc; việc giữ dữ liệu trong bộ nhớ và bỏ qua tuyến xử lý của mô hình là hai cơ chế riêng.

Thêm bảy GiB có thể tiết kiệm lượng đọc SSD đáng kể

Strata là một môi trường chạy mô hình cục bộ, phối hợp tài nguyên của máy để thực thi các mô hình được hỗ trợ. Sau đợt chuyển đổi engine được mô tả trong 0.2.16, ứng dụng và Terminal mới mang phiên bản 0.2.17. Các engine và trình cập nhật Control mang phiên bản 0.1.63. Bản phát hành cung cấp tệp tải xuống cho Windows, Linux, Mac và DGX Spark, nhưng có bản tải cho một hệ điều hành không có nghĩa mọi mô hình và đường thực thi đều hoạt động trên mọi máy.

Thay đổi bộ nhớ liên quan đến các tệp Unsloth UD-Q4_K_XL và UD-IQ4_XS khi không thể giữ toàn bộ chuyên gia của chúng trong RAM. Quy tắc thiết lập mới lấy tổng RAM trừ 17 GiB và phần KV cache được truyền theo luồng để xác định lượng trọng số chuyên gia cần giữ lại. Quy tắc cũ trừ 24 GiB. Đây là ngân sách lưu thường trú cho một đường thực thi cụ thể, không phải cam kết rằng toàn bộ mô hình, cache và hệ điều hành đều vừa trong con số đó.

Tại sao thêm vài GiB lại quan trọng? Khi trọng số cần dùng đã có sẵn trong bộ nhớ, môi trường chạy không phải đọc lại từ thiết bị lưu trữ. Một prompt nặng có thể tận dụng lợi thế này qua nhiều lần truy cập. Vì vậy, mối quan hệ phức tạp hơn việc so sánh bảy GiB với kích thước một tệp đầu vào. Nó còn phụ thuộc vào những chuyên gia mà tác vụ sử dụng và những gì môi trường chạy đã lưu đệm.

Ví dụ của người bảo trì dùng giới hạn bộ nhớ thực 64 GiB, UD-Q4_K_XL, card RTX PRO 4500 Blackwell và prompt khoảng 65K token. Bảng của bản phát hành báo cáo các kết quả dưới đây. Đây là phép đo của dự án trên cấu hình này, không phải dự báo cho mọi máy tính 64GB.

Ngân sách chuyên gia thường trúLượng đọc SSD với prompt đã nêuTốc độ giải mãRAM trống được báo cáoChương trình 8 GiB mở sau đó
40 GiB, ví dụ cũ97.7 GB57.7 token/s16.6 GiBTiếp tục chạy
47 GiB, ví dụ mới37.0 GB84.2 token/s9.3 GiBTiếp tục chạy
52 GiB, thử nghiệm bổ sung0.9 GB83.4–88.6 token/s6.6 GiBBị chấm dứt

Hàng cuối mới là điểm đáng chú ý. Việc giảm lưu lượng đọc bộ nhớ lưu trữ xuống gần bằng không không làm tốc độ giải mã tăng mạnh tương ứng, trong khi một chương trình khác bị dừng. Bảng này ủng hộ cách chọn ngân sách dựa trên đo đạc, thay vì tối đa hóa bộ nhớ cấp cho suy luận.

Cách dữ liệu mô hình thường trú chia sẻ bộ nhớ với công việc trên máy tính Đồ họa giải thích do chúng tôi tạo: trọng số chuyên gia, cache thay đổi của môi trường chạy và các ứng dụng hằng ngày cùng chia sẻ bộ nhớ máy. Quy tắc lưu thường trú của bản phát hành chỉ áp dụng cho các đường xử lý đã nêu.

Phần bộ nhớ dành cho công việc trong ứng dụng là lựa chọn khởi đầu hữu ích

Hãy hình dung một máy trạm của lập trình viên: trình duyệt đã mở lâu, IDE đang lập chỉ mục kho mã và trợ lý cục bộ đang chuẩn bị câu trả lời từ một tài liệu lớn. Cấu hình nhanh nhất của trợ lý khi chạy riêng không hữu ích bằng nếu IDE bắt đầu dùng swap hoặc cuộc họp video mất ổn định. Mốc so sánh phù hợp là toàn bộ phiên làm việc.

Ứng dụng Strata có tùy chọn “Leave 20% for my work” (dành 20% cho công việc của tôi). Theo ghi chú phát hành, tùy chọn này giữ ngân sách cũ: 40 GiB trong ví dụ 64 GiB. Terminal, strata serve, Docker và chế độ hiệu năng tối đa trong ứng dụng dùng cách phân bổ mới. Ngân sách do người dùng chỉ định hoặc mức dự phòng đặt rõ ràng sẽ được ưu tiên. Các bản cài 0.2.16 hiện có có thể nhận chuyển đổi ngân sách một lần ở lệnh Strata đầu tiên sau cập nhật, không cần chạy thiết lập riêng, trừ khi người dùng đã đặt rõ mức phân bổ.

Điều này quan trọng khi hai người cùng nói rằng họ thử cấu hình mặc định. Một người có thể dùng chế độ dành bộ nhớ cho công việc trong ứng dụng desktop, người kia khởi chạy máy chủ từ Terminal. Cùng một phiên bản ứng dụng vẫn có thể đưa ra quyết định lưu thường trú khác nhau. Hãy ghi lại chế độ khởi chạy cùng phiên bản trước khi so sánh kết quả.

Bản phát hành cũng mô tả các ngoại lệ. Máy dùng bộ nhớ chung CPU/GPU như Strix Halo và đường chia lớp giữa hai card vẫn giữ mức dự phòng cũ. Các tệp mô hình khác được liệt kê—IQ2_XS, IQ3_XXS, IQ3_S và Q2_0—không nhận ngân sách lưu thường trú này ở cả hai phiên bản. Vì vậy, chép quy tắc bộ nhớ từ một ví dụ không thể thay thế việc kiểm tra cấu hình mô hình chính xác.

Trên Windows, engine mới còn giới hạn lượng bộ nhớ nhận ban đầu ở mức RAM trống khả dụng trừ 4.25 GiB. Do đó, một máy đang bận có thể khởi đầu thấp hơn mức phân bổ 47 GiB được nêu. Bản phát hành nói rõ hành vi Windows này chưa được đo trong ví dụ. Nó cũng điều chỉnh cách phân loại máy Windows danh nghĩa 64GB khi hệ thống báo khoảng 63.1 GiB. Những chi tiết này giúp giải thích vì sao lượng phân bổ quan sát được có thể khác; chúng không biến thử nghiệm công bố thành benchmark Windows.

Khuyến nghị thực tế của chúng tôi là bắt đầu bằng tùy chọn dự phòng trên máy dùng để tương tác hằng ngày. Hãy chủ động thử lượng phân bổ lớn hơn khi tác vụ dự định thực sự đang chạy, thay vì mượn bộ nhớ từ các ứng dụng vô tình đã đóng để làm bài thử.

Câu trả lời nhanh và câu trả lời trung thực cần hai công tắc riêng

Thay đổi lớn thứ hai liên quan đến “Skip rarely used parts of the model” (bỏ qua các phần ít dùng của mô hình), một thiết lập Expert được biểu diễn bằng STRATA_ROUTE_TAIL_SKIP. Đây không phải ngân sách RAM.

Bản phát hành giải thích rằng, trong điều kiện định tuyến tương ứng, tối ưu hóa này có thể bỏ qua phần tính toán chuyên gia vốn sẽ được sao chép và thực hiện. Trước đây nó chạy mặc định trên các đường NVIDIA và Radeon RX 9000. Người bảo trì đã đổi hành vi tự động sau các báo cáo mất chất lượng. Trong 0.2.17, tính năng này tắt trừ khi người dùng đã chủ động bật.

Giữ một trọng số cần thiết gần bộ xử lý hơn khác hẳn với quyết định không thực hiện một phần công việc của mô hình. Cách thứ nhất thay đổi nơi tìm dữ liệu. Cách thứ hai thay đổi phép tính. Ngay cả khi cả hai đều tăng thông lượng, không nên đánh giá rủi ro đầu ra như thể chúng là cùng một kỹ thuật.

Trong ví dụ RTX 5090 của người bảo trì với UD-Q4_K_XL và DFlash2, năm loại yêu cầu qua hai vòng cho tốc độ giải mã trung bình 73.4 token/s khi tắt bỏ tuyến và 94.5 khi bật. Cùng ghi chú đó còn có phép đo độ phân kỳ token khi cưỡng bức chuỗi token. Đây là so sánh cấu hình do dự án công bố, không phải điểm đánh giá xem câu trả lời có hữu ích, an toàn hay đúng trong ứng dụng của bạn hay không.

Hệ quả trong sử dụng hằng ngày là việc cập nhật có thể làm giảm thông lượng trên một đường xử lý, đồng thời khôi phục hành vi định tuyến đầy đủ hơn. Đó có thể chính là kết quả mong muốn. Nếu bạn cần kiểm tra số liệu chính xác, tạo đầu ra có cấu trúc hoặc tuân theo chỉ dẫn khó, việc giữ đúng hành vi cần thiết có thể đáng giá hơn luồng văn bản nhanh hơn.

Hai phép kiểm tra độc lập để có một trợ lý cục bộ hữu ích Danh sách đánh giá do chúng tôi tạo: đo áp lực tài nguyên tách biệt với chất lượng câu trả lời. Thay đổi lưu thường trú và thay đổi việc bỏ tuyến là hai thử nghiệm khác nhau.

Thiết lập tùy chỉnh hiện có là một phần lịch sử nâng cấp

Giá trị mặc định tự động và lựa chọn rõ ràng không được chuyển đổi giống nhau. Nếu bạn chưa từng đổi thiết lập tuyến, hoặc dùng giá trị tự động, hành vi tự động mới là tắt. Nếu bạn đã chủ động chọn rank 7 hay rank khác, bản phát hành cho biết lựa chọn đó được giữ lại. Giá trị 0 đặt rõ ràng vẫn là tắt.

Điều này bảo toàn cấu hình có chủ ý, nhưng cũng có nghĩa việc cập nhật hai máy không nhất thiết làm chúng hoạt động giống nhau. Một máy có thể giữ thử nghiệm cũ ai đó đã bật từ nhiều tháng trước. Trước khi chẩn đoán sự suy giảm, hãy kiểm tra các thiết lập đã được mang sang.

Bản phát hành ghi lại strata launch --set STRATA_ROUTE_TAIL_SKIP=7 như một cách bật hành vi rank-7. Hãy coi đó là thử nghiệm tự chọn, không phải bước nâng cấp ai cũng nên chạy. Nếu bạn đang cố giải quyết đầu ra thiếu nhất quán, trước hết hãy xác minh tối ưu hóa tuyến đã tắt, thay vì bật nó để lấy lại thông lượng cũ.

0.2.17 còn có các giá trị mặc định khác, gồm thay đổi đọc prompt và giải mã theo phần cứng. Một số có thể làm văn bản sinh ra thay đổi. Đây là lý do nữa để tránh đổi nhiều thiết lập cùng lúc rồi quy toàn bộ khác biệt cho RAM. Phiên bản, tệp mô hình, đường phần cứng và các ghi đè rõ ràng hợp thành cấu hình mà bạn thực sự đã thử.

So sánh khi những ứng dụng bạn định dùng vẫn đang mở

Một bài thử hữu ích không cần phòng thí nghiệm, nhưng cần câu hỏi có thể lặp lại. Với PC làm việc, hãy hỏi trợ lý có hoàn thành tác vụ tiêu biểu trong khi phần còn lại của máy vẫn dùng được hay không. Với máy chủ chuyên dụng, hãy hỏi ngân sách đã chọn có hỗ trợ các dịch vụ chạy đồng thời như dự định mà không gặp lỗi bộ nhớ hay không.

  1. Ghi lại cấu hình ban đầu. Ghi phiên bản ứng dụng và engine, hệ điều hành, RAM, GPU, tệp mô hình chính xác, chế độ khởi chạy, độ dài ngữ cảnh và mọi thiết lập bộ nhớ hay tuyến đặt rõ ràng. Giữ nguyên mô hình và mức lượng tử hóa trong lúc so sánh.
  2. Chọn ba tác vụ tiêu biểu. Chẳng hạn một câu hỏi ngắn, một yêu cầu với tài liệu dài và một bài trích xuất có cấu trúc với các trường bắt buộc đã biết. Đây là gợi ý bài thử, không phải tác vụ chúng tôi thực hiện cho bài viết.
  3. Lập mốc với phần dự phòng cho công việc. Để trình duyệt, trình soạn thảo và các ứng dụng thông thường khác mở. Quan sát RAM trống, hoạt động lưu trữ, độ trễ phản hồi đầu tiên, tốc độ sinh và khả năng đáp ứng của các ứng dụng đó.
  4. Chỉ đổi lưu thường trú. So sánh cách phân bổ ưu tiên hiệu năng với cùng thiết lập tuyến. Theo dõi áp lực bộ nhớ trong tác vụ và khi một ứng dụng thông thường khác được mở sau đó.
  5. Đánh giá đầu ra. Kiểm tra thông tin bắt buộc, định dạng, mức tuân thủ chỉ dẫn và tính nhất quán qua nhiều lần chạy. Một bản trích xuất đúng cú pháp nhưng bỏ mất mục bắt buộc vẫn là thất bại.
  6. Thử bỏ tuyến riêng nếu cần. Giữ cố định ngân sách lưu thường trú đã chọn. So sánh kết quả với các ví dụ chấp nhận của bạn, rồi quyết định mức tăng thông lượng có xứng với thay đổi quan sát được hay không.

Với tài liệu dài, ghi cả lần chạy nguội và yêu cầu lặp lại. Cache có thể khiến lần thứ hai rất khác lần đầu. Đừng trộn kết quả đã ấm cache của một cấu hình với lần đầu cấu hình khác gặp tài liệu.

Cũng hãy ghi nhận thất bại thay vì làm chúng biến mất trong số trung bình. Một câu trả lời nhanh rồi đến sự cố hết bộ nhớ không phải kết quả tốt cho dịch vụ nền. Một phiên dùng trình soạn thảo không bị gián đoạn có thể là kết quả quyết định trên laptop làm việc, ngay cả khi một thiết lập khác thắng ở cột tốc độ giải mã.

Thiết lập tốt hơn chừa chỗ cho công việc thực tế của bạn

Strata 0.2.17 khiến suy luận cục bộ giống việc quản lý một máy tính nhỏ dùng chung hơn là một phép benchmark bộ tăng tốc đơn lẻ. Bộ nhớ như chiếc bàn chung: đặt thêm tài liệu mô hình lên đó có thể giảm số lần đi lấy từ kho, nhưng công việc vẫn cần chỗ để diễn ra.

Với máy chuyên dụng, mức phân bổ mới là lý do để đo xem ít lượt đọc hơn có cải thiện tác vụ bạn phục vụ không. Với máy trạm hằng ngày, tùy chọn dự phòng là khởi điểm hợp lý. Trong cả hai trường hợp, hãy giữ độ trung thực của đầu ra thành tiêu chí chấp nhận riêng. Một thiết lập nhanh hơn xứng đáng được chọn khi toàn bộ tác vụ—không chỉ bộ đếm token—trở nên tốt hơn.

Nguồn và tư liệu chính thức

Các phép đo trên được quy thuộc cho dự án và giữ nguyên điều kiện phần cứng, mô hình. Quy trình đánh giá là gợi ý thao tác cho độc giả.


Gợi ý từ Telli.sh: Lưu cấu hình, prompt tiêu biểu và ghi chép so sánh cùng nhau để lần cập nhật tới bắt đầu từ một mốc hữu ích. Tạo ghi chú đầu tiên với Telli.sh.


← Quay lai blog