AI có thể biến bàn tay bạn thành bộ điều khiển cho một thiết bị thật không?

Hãy hình dung bạn đưa tay trên đàn tổng hợp và yêu cầu kính ánh xạ độ cao ngón tay sang tần số cắt bộ lọc. Bạn đã biết cử chỉ phải làm gì. Phần khó là nối bàn tay đang chuyển động với núm điều khiển thật, nhất là khi đàn dùng MIDI còn kính chỉ thấy một chiếc hộp trên bàn.

ControlAnything là nguyên mẫu nghiên cứu trong bản thảo ngày 5 tháng 11 năm 2026 của Bektur Ryskeldiev. Nó chuyển một phần việc tích hợp sang lúc bạn yêu cầu. Người đeo chọn mục tiêu trong khung nhìn Meta Quest 3, đưa chỉ dẫn rồi đợi tác tử trên MacBook viết trình kết nối. Kết quả có thể là điều khiển ảo, chương trình đọc chuyển động tay hoặc cả hai. Dự án cung cấp mã và trình diễn, trong đó có mô phỏng trên máy tính.

Bản ghi Quest 3 của tác giả Bektur Ryskeldiev cho thấy điều khiển OP-1 Field được tạo trong buổi đánh giá. Telli.sh đã đổi kích thước khung hình. Bản thảo và khung gốc · Thông báo giấy phép MIT của video dự án

Điểm thú vị là kính có thể tạo điều khiển mới cho một việc cụ thể. Câu hỏi còn lại là làm sao hệ thống biết điều gì thực sự xảy ra. Xác nhận MIDI, núm ảo phản hồi và tiếng đàn đổi là ba loại bằng chứng riêng.

Chỉ vào thiết bị để bắt đầu yêu cầu

Nguyên mẫu ghép ứng dụng khách WebXR, máy chủ trên laptop, tác tử lập trình và một số phương thức giao tiếp thiết bị. SAM 3.1 khoanh các vật thể có thể có trong khung kính. Động tác chụm tay biến một vật thành thẻ, còn Muse Spark gợi ý danh tính. Bản thảo coi gợi ý đó là giả thuyết có thể đối chiếu với tên cổng MIDI hay phản hồi của thiết bị. Thẻ giúp người đeo gọi tên mục tiêu. Cổng, cầu nối trình duyệt hay bộ gửi phím mới là thứ để laptop tác động. Bản thảo ControlAnything, mục 3–4

Từ mục tiêu được chọn tới kết quả có thể nhìn hoặc nghe. Minh họa do Telli.sh thực hiện.

Hãy xem thẻ như nhãn hành lý. Nó hữu ích để gọi tên thứ bạn muốn chuyển, còn đường đi và đích đến vẫn cần xác lập. Phiên thử ngày 5 tháng 11 cho thấy khác biệt đó. Mọi yêu cầu đều gửi cho thẻ MacBook mà tác giả đã tạo trước. Khi muốn đàn OP-1 Field hay gimbal DJI Osmo Mobile 4, tác giả gọi tên trong yêu cầu. Do đó, buổi thử cho biết cách kết nối những thiết bị đã nằm trong cấu hình. Việc chọn vật thể là một cây đàn hay gimbal chưa từng biết vẫn là câu hỏi mở.

Hệ thống cũng có thông tin hữu ích trước cử chỉ đầu tiên. Dự án mô tả các kênh MIDI, Bluetooth và mô phỏng phím. Ghi chú tác tử giữ lại đã có tên cổng OP-1, số điều khiển bộ lọc và chỉ dẫn di chuyển gimbal trước phiên được báo cáo. Ảnh camera cho thấy vật có vẻ là đàn tổng hợp. Thông tin có trước cho chương trình biết gửi giá trị nào, gửi đi đâu và giữ trong phạm vi nào.

Mô hình dựng điều khiển một lần, chương trình tay chạy liên tục

Nguyên mẫu tách việc tạo tương tác tốn thời gian khỏi việc chạy lặp lại. Hệ thống chép yêu cầu nói thành văn bản, tác tử viết trình kết nối và máy chủ kiểm tra nó đang chạy, đồng thời mỗi điều khiển trả về gắn với một hành động đã khai báo. Chương trình đọc tín hiệu từ khớp tay ở mỗi khung hình và phát giá trị hoặc sự kiện. Mô hình chạy lúc thiết lập. Kính chạy chương trình được tạo khi bạn di chuyển. Triển khai trong bản thảo

Khác biệt này quan trọng với điều khiển liên tục như tiếng hay khung máy quay. Nếu mô hình ngôn ngữ phải chọn mỗi giá trị mới, mỗi khung hình sẽ là một quyết định chậm. Chương trình nhỏ có thể ánh xạ độ cao tay sang tham số, chặn ngoài phạm vi và phản ứng khi thả. Với hành động như chuyển video, chương trình có thể yêu cầu cử chỉ có chủ đích rồi đợi tay về trạng thái trung tính trước khi kích hoạt lại. Đó là ví dụ về thiết kế có thể làm, không phải kết quả đo của nguyên mẫu.

Bản thảo báo cáo thời gian thiết lập trung vị 32,5 giây ở chín yêu cầu đạt trạng thái sẵn sàng, từ 24,9 đến 57,8 giây. Đồng hồ bắt đầu khi máy chủ xử lý yêu cầu và không tính thời gian phiên âm. Các lần gọi mô hình chiếm trung vị 89,9% thời gian thiết lập. Tác giả cũng nói phiên này không đo thời gian từ cử chỉ tới phản ứng của thiết bị. Kết quả trong bản thảo

Số liệu giúp cân nhắc giá của sự linh hoạt. Nửa phút có thể hợp lý nếu thay được một buổi chiều viết trình kết nối rồi dùng cả buổi tập. Khó biện minh hơn nếu cử chỉ điều khiển việc mà điều khiển cũ làm được trong năm giây. Cơ hội phù hợp là việc có giá trị khi điều khiển lặp lại, dù chỉ thiết lập một lần.

Kết quả cũng gợi bước tiếp theo. Hai yêu cầu tương tự cho mô phỏng nước mất 31,6 và 32,5 giây vì mỗi lần tạo kết nối mới. Bộ nhớ đệm lời nhắc phục vụ 91,7% mã thông báo đầu vào của phiên, nhưng trình kết nối cũ chưa thành điều khiển dùng lại ngay. Lưu ánh xạ đã kiểm tra và để người đeo chọn lúc tái sử dụng sẽ giảm một phần chi phí khác. Quản lý phiên bản cũng cần thiết vì kết nối dùng lại phải giữ đúng giả định về thiết bị, tài khoản và phạm vi đã thử.

Núm lọc, gimbal và trình duyệt cần bằng chứng khác nhau

Phiên ngày 5 tháng 11 có một người đeo là tác giả và mười yêu cầu trên năm mục tiêu. Chín yêu cầu sẵn sàng, lượt còn lại do người đeo dừng. Đây là thử nghiệm kỹ thuật thăm dò. Cách diễn đạt tự do, một số mục tiêu lặp lại và cấu hình đã biết thiết bị từ trước. Hãy đọc số đếm như mô tả những gì xảy ra trong phiên đó. Khả năng người mới kết nối thiết bị chưa biết là phép đo khác. Bảng và phương pháp trong bản thảo

Xác nhận từ đường truyền và tác động đo được trả lời hai câu hỏi riêng. Minh họa do Telli.sh thực hiện.

Xét đàn tổng hợp. MIDI có thể mang lệnh lọc đúng định dạng khi đàn ở thiết lập phản ứng khác, hoặc chức năng nhận MIDI đang tắt. Bản thảo nêu trường hợp trước đó lệnh được xác nhận nhưng đàn im lặng cho tới khi bật nhận. Sự thay đổi âm thanh ghi trên nốt thử đã biết cho bạn nhiều thông tin hơn một bản sao nhật ký.

Gimbal cho thấy bài học tương tự. Cầu nối ghi 889 phản hồi xoay thành công trong phiên, gồm cả lệnh dừng và thả. Đó là bằng chứng đường truyền nhận lệnh suốt tương tác. Nhật ký không có góc đáng tin. Thử tiếp có thể đặt đích an toàn rồi so góc yêu cầu với video hoặc vạch mốc. Khi đó mới biết chuyển động có đúng, lặp được và giữ trong phạm vi không.

Điều khiển bằng phím thêm vấn đề danh tính. Một lần nhấn thành công ở hệ điều hành vẫn có thể đến nhầm cửa sổ. Phép thử trình duyệt cần kiểm tra tab hoạt động, xác minh đúng nội dung đổi và cửa sổ khác nguyên vẹn. Giao diện kết nối càng trừu tượng thì định nghĩa “đã xong” càng có ích.

Hành động dừng phải hoạt động trước khi tin cử chỉ

ControlAnything có đường dừng độc lập với mô hình. Người đeo có thể ngừng tạo, giơ hai lòng bàn tay khi dùng hoặc dùng nút ở menu cổ tay. Máy chủ có thể ngừng kết nối và phát lệnh nhả về trạng thái trung tính, như dừng gimbal hoặc nhả trạng thái MIDI. Chương trình tay trên kính chạy trong worker hạn chế, được kiểm tra với 480 khung tổng hợp trước triển khai. Hệ thống cũng giới hạn hành động đã khai báo và dải giá trị mà chương trình có thể phát. An toàn và cơ chế dừng trong bản thảo

Trình kết nối trên laptop ở vị trí khác. Bản thảo mô tả đây là tiến trình Node bình thường chạy với quyền của người dùng laptop, và nguyên mẫu không cô lập tiến trình được tạo này. SDK giới hạn lệnh qua đường hỗ trợ, nhưng kết nối thực thi mã chung vẫn có quyền của tài khoản chạy nó. Bản sản xuất đáng tin cần kiểm soát quyền của kết nối ở cấp hệ điều hành và giới hạn tới các thiết bị cần cho yêu cầu.

Có thể thấy lý do khi hình dung một bộ lắp đặt có hai cơ cấu chuyển động. Bề mặt điều khiển chỉ gắn nhãn một cơ cấu có thể trông yên tâm, nhưng cần biết kết nối còn tìm và tác động lên cái kia được không. Trình diễn an toàn chỉ để hệ thống tiếp cận mục tiêu đang thử. Nó kiểm tra lệnh dừng độc lập, chừa chỗ cho người vận hành lùi ra và cho thấy chuyện gì xảy ra khi mất theo dõi hoặc ngắt thiết bị.

Phân biệt tương tự áp dụng cho mã sinh ra đọc môi trường. Nguyên mẫu bảo mô hình coi chữ trong khung camera hay phản hồi công cụ là dữ liệu. Chỉ dẫn giúp định hướng hành vi, còn quyền tiến trình và các kênh sẵn có quyết định sai sót có thể tác động tới đâu. Người thử nên tách hai câu hỏi trước khi để laptop chạm thiết bị thật hay tài khoản đang dùng.

Thử với mục tiêu mô phỏng và giữ bài thử nhỏ

README mô tả mô phỏng máy tính dùng Node 22.12 trở lên và Chrome. Không có khóa API, máy chủ phát lại phản hồi đã ghi trong chế độ dữ liệu mẫu có đánh dấu. Bạn có thể quan sát từ gắn thẻ mục tiêu tới núm được tạo trước khi thêm kính, gọi mô hình hay thiết bị vật lý. Ranh giới cũng rõ: dữ liệu mẫu chứng minh đường đi đã biết qua giao diện. Đánh giá trực tiếp bắt đầu khi đổi mục tiêu, cử chỉ hoặc phản hồi mô hình. Hướng dẫn trình diễn ControlAnything

1. Đọc hướng dẫn kho và chạy mô phỏng trong môi trường có thể bỏ đi. Mở mô phỏng và trình giả lập kính trên máy tính, rồi gắn thẻ laptop mô phỏng chạy đàn ảo.
2. Chọn yêu cầu núm có sẵn và kiểm tra chỉ báo dữ liệu mẫu hiển thị. Ghi cách giao diện thể hiện mục tiêu và thời điểm điều khiển được tạo xuất hiện.
3. Đổi núm ảo, kiểm tra tác động trên mục tiêu mô phỏng và thử lệnh dừng. Tách điều quan sát được trên giao diện khỏi điều nhật ký trình kết nối báo.
4. Cho lần trình diễn vật lý sau, chọn thiết bị rủi ro thấp có thể đảo ngược điều khiển. Ghi kết quả kỳ vọng trước khi gửi lệnh. Chuẩn bị cách độc lập để nhìn hay nghe thay đổi và dừng thiết bị.

Trong buổi thực hành, bắt đầu với đàn ảo hiển thị trực quan thay vì tính năng mở dịch vụ thật hay gửi phím trên máy chủ. README phân biệt luồng Instagram Reels với ví dụ mô phỏng. Nếu mục tiêu là hiểu ánh xạ, thiết bị thử cục bộ giới hạn cho hình ảnh rõ hơn.

Khi chuyển sang phần cứng thật, đo riêng thời gian thiết lập và chất lượng điều khiển. Bấm giờ đến lúc sẵn sàng. Quan sát trễ từ cử chỉ tới tác động, độ trôi khi tay rời vùng theo dõi và chuyện gì xảy ra khi người dùng đổi ý. Nghiên cứu dài hơn có thể trả lời các câu hỏi này và xem người chưa biết giao diện có tự chọn đúng mục tiêu được không.

Điều khiển có ích khi tạo xong và kiểm chứng được

Ý tưởng mạnh nhất của ControlAnything là cho người dùng mô tả tương tác vật lý mà không chuẩn bị giao diện riêng trước. Buổi đánh giá cho thấy cách làm trên tập mục tiêu đã biết với một chiếc kính. Điều khiển dùng lại cần thêm hơn một kết nối thành công. Nó phải xác định thiết bị, giới hạn quyền và cho người đeo thấy hành động đã diễn ra rõ đến mức có thể tin cậy.

Nguồn

• Bản thảo ControlAnything, nộp ngày 5 tháng 11 năm 2026
• Triển khai, đánh giá và giới hạn đầy đủ
• Kho dự án, trình diễn và hướng dẫn mô phỏng

---

Để lưu ghi chú và quyết định từ buổi thử nguyên mẫu cho dễ tìm lại, hãy tạo tài khoản Telli.sh.