[Ghi chép thực địa AI cục bộ 01] Thử thách tiếp theo của Strata: biến mô hình lớn thành công cụ hữu ích trên PC

Bản trình diễn AI cục bộ đáng chú ý nhất là bản bạn vẫn dùng được vào tuần sau. Một mô hình lớn tạo ra câu trả lời thông minh trên PC chơi game là một cột mốc; mở lại cuộc trò chuyện đó vào ngày mai, tìm được tệp mô hình và cho phép nó sửa dự án một cách an toàn mới là khởi đầu của một công cụ hữu ích.

Strata tiến gần hơn tới nhóm thứ hai với 0.2.0-beta vào ngày 19 tháng 10 năm 2026: ứng dụng máy tính, giao diện Terminal và các bộ máy thực thi được đóng gói riêng. Đến ngày 23 tháng 10, 0.2.3 đã xuất hiện. Tên chính xác của bản beta rất quan trọng khi chọn tệp tải xuống: đây là nhánh phát hành 0.2, không phải bản 2.0 tương lai đã được công bố. Bản beta, bản phát hành ngày 23 tháng 10

Phần đầu tiên của loạt “Ghi chép thực địa AI cục bộ” xem xét thay đổi đó mang lại gì cho người muốn tận dụng máy tính sẵn có. Chúng ta sẽ nối giao diện mới với ba ví dụ phần cứng đã công bố, phân biệt các lựa chọn mô hình với những kiến trúc khác nhau và xem xét các bước phát triển có thể biến suy luận cục bộ thành một dịch vụ hằng ngày đáng tin cậy.

Ảnh chụp Strata chính thức từ kho mã 0.2.3, hiển thị cuộc trò chuyện lập trình và bản xem trước HTML. Ảnh minh họa giao diện, không phải phép thử được thực hiện cho bài viết này. © 2026 Niko1221 and the Strata contributors; nguồn, giấy phép MIT.

Bản beta biến bộ máy thực thi thành thứ bạn có thể quay lại sử dụng

Ứng dụng máy tính tập hợp việc chọn mô hình, quản lý lưu trữ, trò chuyện, theo dõi phần cứng và không gian lập trình. Chế độ quyền Manual hỏi trước khi thay đổi; chế độ Bypass rộng quyền hơn cho tác tử nhiều tự do hơn. Terminal cung cấp quy trình hướng dẫn strata launch và kết nối tới các ứng dụng khách lập trình. Cả hai dùng chung bộ máy thực thi bên dưới. Ghi chú tính năng 0.2.0-beta

Với lập trình viên, điều đó tạo ra một tình huống minh họa đơn giản: yêu cầu một bộ phân tích cú pháp nhỏ trong dự án dùng thử, xem các tệp được đề xuất, chạy kiểm thử rồi tiếp tục cuộc trò chuyện bằng một ví dụ gây lỗi. Với người làm việc nhiều cùng tài liệu, nhiệm vụ đầu tiên tương đương là đặt một câu hỏi có phạm vi rõ ràng về đoạn văn đã cung cấp, rồi yêu cầu trích dẫn chính xác để chứng minh câu trả lời. Không tình huống nào đòi hỏi biến mô hình thành một nhân viên tự chủ.

Cải thiện thực tế nằm ở tính liên tục. Bộ chọn mô hình bằng đồ họa giảm khả năng khởi chạy cấu hình không tương thích; công cụ theo dõi phần cứng giúp giải thích vì sao ứng dụng khác làm thay đổi hiệu năng; cấu hình lưu sẵn biến một thử nghiệm thành công thành việc có thể lặp lại. Các tính năng này không nâng cao năng lực suy luận của mô hình. Chúng giảm lượng công việc giữa việc có sẵn năng lực đó và sử dụng nó có trách nhiệm.

Quan điểm của chúng tôi là: cuộc cạnh tranh tiếp theo của AI cục bộ xoay quanh khoảng cách ấy. Trải nghiệm chiến thắng sẽ giúp bạn dễ giữ lại cấu hình tốt, dễ hiểu nguyên nhân thất bại và dễ xem xét hành động có rủi ro.

Toàn bộ hệ thống bộ nhớ của máy tính trở thành một phần của mô hình

Mục tiêu chính của Strata là Qwen3.8-Flash-Next, với phần lõi có 125 tỷ tham số. Chiến lược thực thi dùng bộ nhớ GPU cho tính toán chung và các chuyên gia thường xuyên cần đến, RAM hệ thống cùng CPU cho những chuyên gia khác, và truy cập SSD cho bảng tra cứu n-gram. Card đồ họa lớn hơn có ích, nhưng RAM và lưu trữ của máy vẫn nằm trên đường xử lý suy luận. Tổng quan dự án, thiết kế thực thi

Hãy hình dung PC là một xưởng có nhiều mặt bàn làm việc. Mặt bàn nhanh nhất có diện tích giới hạn, nên môi trường thực thi phải quyết định công việc nào xứng đáng ở lại đó. Cải thiện quyết định này giúp phần cứng hiện có hữu ích hơn; nó không thể khiến mọi mặt bàn nhanh như nhau.

Ba đại lượng cần được chú ý riêng. Tệp tải xuống chiếm dung lượng lưu trữ. Trọng số đã nạp và bộ đệm thực thi tiêu thụ bộ nhớ. Cửa sổ ngữ cảnh bổ sung trạng thái làm việc khi cuộc trò chuyện dài thêm. Vì thế, chỉ kích thước tệp không cho biết bạn cần bao nhiêu VRAM hay câu trả lời đầu tiên xuất hiện nhanh đến mức nào.

Hướng dẫn khởi đầu hiện tại của dự án yêu cầu ít nhất 32 GB RAM và VRAM cộng lại, cùng khoảng 80 GB đĩa trống cho cấu hình thông thường. Đó là hướng dẫn ban đầu, không phải lời hứa rằng mọi mô hình, độ dài ngữ cảnh hay hệ điều hành đều vừa mức đó. Không nên xem laptop cơ bản 16 GB tương đương các máy để bàn bên dưới. Yêu cầu phần cứng

Nhiều tên mô hình hơn không phải lúc nào cũng có nghĩa là nhiều kiến trúc hơn

Sơ đồ biên tập nguyên gốc về quan hệ giữa các mô hình đã được tài liệu hóa, kiểm tra ngày 23 tháng 10. Các nhánh thể hiện nguồn gốc và hỗ trợ thực thi, không hàm ý chất lượng ngang nhau hay tệp có thể thay thế cho nhau.

Flash-Next gốc, Swift 1.5, Coder và Gyro trả lời những nhu cầu khác nhau trong cùng một họ nền tảng. Swift thay đổi hành vi thông qua tinh chỉnh. Coder loại bỏ những chuyên gia được đánh giá là ít hữu ích hơn cho trọng tâm lập trình. Gyro thay đổi cách biểu diễn trọng số. Coi chúng là bốn mô hình nền tảng không liên quan sẽ khiến danh mục trông đa dạng hơn thực tế. Hướng dẫn mô hình

Những khác biệt này có hệ quả thực tế. Coder giữ 256 trong số 512 chuyên gia của mỗi lớp, và dự án cảnh báo về hiệu năng tổng quát cùng ngôn ngữ ngoài tiếng Anh yếu hơn. Một mô hình được chọn vì vừa máy tính lập trình không nên tự động trở thành mặc định cho câu hỏi tài liệu đa ngôn ngữ. Phần suy luận ngắn hơn của Swift có thể giảm tổng thời gian mà không khiến phần cứng sinh từng token nhanh hơn. Đánh đổi giữa các phiên bản

Gyro-S cần tải xuống 58,5 GB, dù nhu cầu bộ nhớ cho trọng số được tài liệu hóa trên cả RAM lẫn VRAM là 27,6 GB. Bảng n-gram vẫn nằm trên SSD. Đánh giá của dự án xếp chất lượng của nó dưới các lựa chọn bit thấp lớn hơn; vừa bộ nhớ nhỏ hơn cũng có cái giá của nó. Tài liệu Gyro

Cũng có một mô hình thứ hai thực sự: Qwen3.6-35B-A3B, mô hình mixture-of-experts 35 tỷ tham số với 3 tỷ tham số hoạt động, được xử lý qua một nhánh bộ máy riêng. Các lựa chọn được tài liệu hóa bao gồm hình ảnh và yêu cầu đồng thời trên cấu hình NVIDIA, AMD được hỗ trợ; bộ máy cho Mac không chạy mô hình này. Sự khác biệt đó khiến nó trở thành phương án đáng đánh giá khi con số tham số lớn nhất trên tiêu đề không phải nhu cầu thật của bạn. Hỗ trợ Qwen3.6

Ba máy được công bố thể hiện ba kiểu hữu ích khác nhau

Các ví dụ sau được thành viên cộng đồng hoặc chính dự án công bố. Đây là số đo của những cấu hình cụ thể, không phải thử nghiệm trực tiếp cho bài viết này. Mục đích là cho thấy công việc khả thi và chi phí của nó, không xếp hạng ba máy bằng những prompt không tương thích.

Nguồn: báo cáo RTX 3060, báo cáo RX 9060 XT, số đo trên Mac. Các báo cáo này có trước hoặc khác với bản phát hành ứng dụng hôm nay.

Ví dụ RTX 3060 hữu ích vì bao gồm cả khoảng chờ trước khi có đầu ra. Giao diện hiển thị khoảng 43 token mỗi giây vẫn có thể tạm dừng trong lúc đọc câu hỏi. Báo cáo cũng ghi nhận việc giảm tốc do nhiệt và hoạt động nền không được kiểm soát; giá trị nằm ở ranh giới thực tế của một máy, thay vì thông số GPU lý tưởng hóa.

Với người dùng Radeon, có bằng chứng về một quy trình cụ thể vượt ra ngoài vòng lặp đo tốc độ. Người đóng góp chạy ba nhiệm vụ TypeScript tổng hợp, mỗi nhiệm vụ ba lần cho từng mô hình, thông qua ứng dụng khách lập trình; cả IQ2_XS và IQ3_XXS đều vượt qua toàn bộ chín lượt nhiệm vụ. Cấu hình IQ2 hoàn thành các nhiệm vụ giới hạn đó nhanh hơn, đồng thời dùng ít bộ nhớ máy chủ hơn. Điều này ủng hộ việc thử các công việc lập trình có thể kiểm chứng; nó không chứng minh chất lượng tương đương trên kho mã chưa quen. So sánh lập trình và dữ liệu kiểm thử

Ví dụ Mac trả lời câu hỏi khác: một hệ thống 32 GB tương đối nhỏ gọn có thể tham gia được không? Có, theo cấu hình truyền dữ liệu đã công bố. Nhưng một prompt IQ3_XXS riêng dài khoảng 30 nghìn token trong tài liệu Mac mất 5,6 phút mới có đầu ra đầu tiên. Tác vụ xử lý theo lô có thể kiên nhẫn chờ và trợ lý dễ bị gián đoạn có ngân sách độ trễ khác nhau. Số đo truyền dữ liệu trên Mac

Đó là lựa chọn người đọc nên ghi nhớ. Dùng câu hỏi ngắn để khám phá tính tương tác, tài liệu dài để khám phá chi phí prompt và nhiệm vụ có thể xác minh để biết câu trả lời có hữu ích không. Không một con số nào đại diện được cho cả ba.

Các bản sửa tháng 10 cho thấy vì sao cần ghi số phiên bản trong ghi chú thiết lập

Bản phát hành ngày 23 tháng 10 báo cáo tốc độ trả lời cải thiện 6–19% trên máy thử nghiệm Windows Strix Halo với IQ3_S, đo bằng ba lượt chạy ghép cặp so với 0.2.2. Bản này cũng cung cấp gói bộ máy Intel Arc Linux SYCL, với A750 là card được thử nghiệm. DFlash2 drafting chỉ có trong Terminal và phải chủ động bật; Auto vẫn chọn MTP vì phương án kia chưa thắng trên mọi loại tải. Số đo và giới hạn 0.2.3

Những cải thiện đó đi cùng công việc bảo trì phần mềm thông thường. Tag v0.2.1.2 ngày 20 tháng 10 xử lý việc khởi động Strix Halo trên Windows. Hướng dẫn phần cứng giải thích lỗi trước đó: đăng ký vùng nhớ chuyên gia dùng hết bộ nhớ GPU khả dụng, không còn chỗ cho cache. Chip được hỗ trợ và trình cài đặt vẫn chưa đủ cho tới khi cách quản lý bộ nhớ được sửa. v0.2.1.2, giải thích khởi động Strix Halo

Hiện vẫn còn điểm vướng. Issue #3810, mở ngày 23 tháng 10, báo lỗi sập khi thiết lập CUDA trên Windows liên quan đến siêu dữ liệu thị giác được đóng gói. Ở thời điểm chốt nghiên cứu bài viết, đây là báo cáo người dùng đang chờ xử lý, không phải bằng chứng mọi bản cài Windows đều thất bại. Nếu cách cài của bạn trùng trường hợp này, hãy xem issue và ghi chú phát hành tiếp theo trước khi tốn hàng giờ tinh chỉnh lại mô hình. Báo cáo thiết lập Windows

Nâng cấp cũng cần chú ý: ghi chú 0.2.3 hướng dẫn người dùng từ 0.2.0-beta đến 0.2.1.2 chạy lại trình cài Terminal vì các bản đó không tự chuyển được thành phần Control. Trình cài giữ lại mô hình và cài đặt. Với Mac, hãy kiểm tra gói đã ký mà bạn cần thực sự xuất hiện chưa: phần giới hạn đã biết của cùng bản phát hành cho biết các bản dựng Mac vẫn đang được ký khi công bố. Hướng dẫn nâng cấp

Bắt đầu bằng một việc hữu ích và ngữ cảnh ngắn

Bạn không cần tái hiện một màn trình diễn ngữ cảnh khổng lồ để biết điều này có đáng làm không. Một vòng làm việc nhỏ thành công cho bạn đường cơ sở, gồm cả lỗi và cách sửa, trước khi dành thêm lưu trữ hoặc để tác tử hành động rộng hơn.

1. Chọn cách cài được tài liệu hóa cho phần cứng của bạn. Mở trang phát hành chính thức, chọn hệ điều hành và gói GPU phù hợp. Ghi riêng phiên bản ứng dụng và bộ máy. Giữ bản cài đang hoạt động trong lúc đánh giá nâng cấp.
2. Chọn mô hình dựa trên bộ nhớ trống, ngôn ngữ và nhiệm vụ. Đóng ứng dụng nặng trong lần thử đầu. Bắt đầu với kích thước được khuyến nghị, ngữ cảnh khoảng 8K và một yêu cầu đồng thời. Giữ tệp mô hình trên SSD cục bộ.
3. Dùng quy trình thiết lập có hướng dẫn. Bộ chọn mô hình trong ứng dụng hoặc strata launch cung cấp cài đặt mô hình, lưu trữ, ngữ cảnh, hình ảnh và truy cập. Giữ truy cập chỉ cục bộ và quyền Manual cho bài tập lập trình đầu tiên. Hướng dẫn Terminal
4. Hỏi điều bạn có thể xác minh. Thử một hàm nhỏ kèm kiểm thử, ba câu hỏi về tài liệu được cung cấp hoặc ảnh chụp có nhãn đã biết. Lưu prompt và đối chiếu câu trả lời với nguồn thật hoặc kết quả kiểm thử.
5. Đo toàn bộ thời gian chờ. Ghi thời gian khởi động, thời gian tới đầu ra đầu tiên, tổng thời gian nhiệm vụ, bộ nhớ đỉnh và độ chính xác. Sau đó lặp lại một lần với câu hỏi tiếp nối dùng cache và một lần với prompt mới. Giữ nguyên cài đặt drafting và suy luận trong phép so sánh đó.
6. Tăng độ phức tạp từng biến một. Chỉ tăng ngữ cảnh khi nhiệm vụ cần. Đánh giá hình ảnh, mô hình khác hoặc kết nối ứng dụng khách lập trình riêng rẽ, để khi có suy giảm bạn biết nơi cụ thể cần xem xét.

Để tạo báo cáo hiệu năng có thể chia sẻ, Strata cung cấp strata bench run. Giao thức chuẩn hóa của nó vẫn là bản nháp chờ xác thực qua thử nghiệm thí điểm vào ngày 23 tháng 10 và tách rõ bước nạp mô hình khỏi suy luận được tính giờ. Thói quen quan trọng đã có ích ngay bây giờ: đính kèm phần cứng, lượng tử hóa, cài đặt thực tế và kết quả nhiệm vụ cùng số đo. Giao thức benchmark

Giữ suy luận cục bộ vẫn để lại các quyết định ở phần kết nối xung quanh

Tài liệu quyền riêng tư của Strata cho biết không có telemetry sử dụng và có thể chạy mô hình đã tải xuống khi ngoại tuyến. Tìm kiếm web, trang được mở, dịch vụ mô hình từ xa, đường hầm và công cụ đã cấu hình tạo kết nối ra ngoài khi được dùng. Vì thế, cuộc trò chuyện riêng tư với mô hình cũng cần một quy trình xung quanh riêng tư. Hành vi mạng và tải xuống

Điều này đặc biệt liên quan tới ví dụ tài liệu và lập trình. Một trợ lý có thể đọc tệp và chạy lệnh có năng lực vượt ra ngoài sinh văn bản. Hãy xem thư mục làm việc, lệnh chính xác được đề xuất và mọi điểm cuối công cụ bên ngoài trước khi cung cấp tài liệu mật. Giữ bản gốc và lịch sử phiên bản để có thể khôi phục sau một chỉnh sửa sai.

Điểm lắng nghe suy luận mặc định dùng 127.0.0.1; mở điểm lắng nghe trên mạng sẽ thay đổi ai có thể truy cập. Strata có tài liệu về khóa API và điểm lắng nghe chia sẻ riêng, nhưng người bật truy cập vẫn chịu trách nhiệm cho quyết định đó. API tương thích giúp kết nối ứng dụng khách thuận tiện, chứ không khiến mọi cấu hình ứng dụng khách đều riêng tư. Chính sách bảo mật

Project Maya cho thấy ý tưởng đi xa tới đâu và tốn những gì

Bước phát triển rộng hơn là chiến lược thực thi này đang được điều chỉnh cho các họ mô hình khác. Project Maya ghi rõ Strata là điểm xuất phát cho bộ máy, máy chủ và bảng điều khiển của mình, với nhiều công việc bổ sung cho các mô hình riêng. Các mục tiêu được tài liệu hóa gồm GLM-5.3-Flash, 321B và DeepSeek-V4.1-Flash-1017, 748B. Đây là dự án riêng, không phải lựa chọn trong menu mô hình Strata. Mô hình và ghi nhận của Maya

Bản tải GLM Maya-S là 96,5 GB; lựa chọn DeepSeek Maya-S chiếm 340 GB gồm cả bảng Engram. Một ví dụ cộng đồng ghép một RTX 5090 với Ryzen 9 7950X và 96 GB RAM, báo cáo hơn 30 token mỗi giây cho GLM Maya-M. Những điều kiện này giải thích vì sao “một GPU” là mô tả chưa đầy đủ về cấu hình phổ thông. Tệp Maya và báo cáo phần cứng

Cơ hội là có thật: một máy có thể kết hợp nhiều tầng lưu trữ và tính toán để phục vụ mô hình có toàn bộ trọng số vượt bộ nhớ bộ tăng tốc. Chi phí cũng tăng. Hàng trăm gigabyte tải xuống, kernel dành riêng cho mô hình, RAM hệ thống dư và hỗ trợ nền tảng thử nghiệm là những cam kết đáng kể. Chuyển thành công một mô hình lớn không chứng minh đã có bộ nạp dùng chung cho mọi kiến trúc.

Với phần lớn người đọc, Maya là hướng phát triển đáng theo dõi trước khi trở thành khuyến nghị thay thế. Câu hỏi hữu ích là mô hình khác có giải quyết được việc mà mô hình hiện tại thất bại hay không, và lợi ích có đủ bù phần cứng cùng công bảo trì thêm không. Chỉ số tham số không thể trả lời câu hỏi ấy.

Cột mốc tiếp theo là công việc đáng tin cậy, và các đề xuất công khai đang hướng tới đó

Khung biên tập nguyên gốc. Chuỗi phía trên mô tả tiêu chí để đưa vào sử dụng; hàng dưới xác định các đề xuất công khai được kiểm tra ngày 23 tháng 10. Đây không phải lịch phát hành được cam kết hay dự báo hiệu năng.

Hai pull request nháp đang mở đưa ra tín hiệu cụ thể hơn một lộ trình 2.0 tưởng tượng. #3806 đề xuất hỗ trợ các định dạng trellis của Gyro-L hiện chưa được hỗ trợ. #3800 đề xuất che token cho đầu ra JSON có cấu trúc để các lần sinh không hợp lệ cần ít lần thử lại toàn bộ yêu cầu hơn. Cả hai vẫn là bản nháp ngày 23 tháng 10; không mục nào thuộc danh sách năng lực đã phát hành. Đề xuất Gyro-L, đề xuất đầu ra có cấu trúc

Nếu những công việc như vậy vào được một bản phát hành ổn định, hai loại tải cục bộ sẽ được lợi. Hỗ trợ định dạng tốt hơn cho người dùng thêm cách đánh đổi bộ nhớ lấy chất lượng. Đầu ra có cấu trúc đáng tin cậy hơn giúp trích xuất tài liệu, gắn nhãn và gọi công cụ tạo dữ liệu mà chương trình khác có thể kiểm tra an toàn. Cải thiện thứ hai ít ngoạn mục hơn trên video, nhưng có thể giá trị hơn trong quy trình lặp lại.

Kỳ vọng của chúng tôi có điều kiện: suy luận cá nhân hữu ích hơn khi môi trường thực thi giữ lại cấu hình hoạt động, giới hạn mức dùng bộ nhớ và phục hồi sau lỗi. Thêm bản chuyển cho backend và drafting thông minh hơn chỉ có ích khi người đọc nối được chúng với nhiệm vụ thực tế. Mô hình trên máy tính xứng đáng có chỗ đứng bằng cách tạo ra công việc bạn có thể kiểm tra và lặp lại.

Vì thế câu hỏi cho chiếc máy AI cục bộ tiếp theo rất đơn giản: ngày mai bạn có thể giao lại cùng một việc hữu ích và tin quy trình đủ để tiếp tục sử dụng không?

Nguồn và ghi chú đọc thêm

Mốc chốt nghiên cứu: ngày 23 tháng 10 năm 2026. Trạng thái bản phát hành, issue và gói có sẵn có thể thay đổi sau ngày đó. Các số đo phía trên giữ nguyên ngày công bố và cấu hình ban đầu; không có benchmark suy luận mới nào được thực hiện cho bài viết này.

• Strata 0.2.0-beta, v0.2.1.2 và ghi chú phát hành 0.2.3.
• Hướng dẫn mô hình Strata, hỗ trợ Qwen3.6 và tài liệu Gyro.
• Tập hợp benchmark cộng đồng, tài liệu Mac và giao thức benchmark bản nháp.
• Project Maya, ảnh chụp Strata chính thức và giấy phép kho mã.

Giữ quyết định về AI cục bộ cùng bằng chứng đi kèm

Khi so sánh cấu hình, hãy giữ liên kết nguồn, thiết lập phần cứng, kết quả nhiệm vụ và các chỉnh sửa ở cùng một chỗ. Telli.sh có thể giúp sắp xếp những ghi chép nghiên cứu và bản tóm tắt đó khi cấu hình của bạn thay đổi. Tạo tài khoản Telli.sh