Local AIอ่าน 17 นาที

AI เสียงออฟไลน์บน Mac จะรอให้เราพูดจบได้ไหม?

Sophon-Realtime รุ่น Apple Silicon ประมวลผลเสียงบนเครื่อง ลองสัมภาษณ์จำลองเพื่อแยกผลของหน่วยความจำ เวลาตอบกลับ เสียงสะท้อน และการพูดแทรก

K
Ken Jo

ลองนึกว่าคุณซ้อมสัมภาษณ์งานอยู่ที่โต๊ะกินข้าว พอเริ่มเล่าว่าแก้ปัญหาอย่างไร คุณหยุดคิดคำครู่หนึ่ง ผู้สัมภาษณ์ก็แทรกขึ้นมาเหมือนคุณพูดจบแล้ว อีกไม่กี่อึดใจคุณพยายามแก้รายละเอียด แต่ผู้สัมภาษณ์ยังพูดทับอยู่ ทั้งสองเรื่องเกิดได้แม้กับแอปเสียงที่ฟังดูดีเมื่อเปิดคำตอบย้อนหลัง

วันที่ 13 พฤศจิกายน 2026 Adventists AI ประกาศ Sophon-Realtime รุ่นที่รันบน Mac รุ่นนี้ใช้โมเดลเสียง Flash-4bit คู่กับ MLX ของ Apple บน Apple Silicon โครงการแนะนำหน่วยความจำรวมอย่างน้อย 36 GB ระบุว่ารองรับการสลับกันพูดและการพูดแทรก และระบุว่าการติดตั้งบน Mac ดาวน์โหลดไฟล์โมเดลประมาณ 24 GB ส่วน API ที่ให้บริการบนเซิร์ฟเวอร์ประกาศแยกในวันที่ 14 พฤศจิกายน และไม่ได้ประมวลผลบทสนทนาบน Mac ของคุณ

คำถามคือบทสนทนาทั้งระบบจะรับส่งกันได้ตามธรรมชาติไหมเมื่อไม่ใช้อินเทอร์เน็ต การซ้อมสัมภาษณ์สั้น ๆ ช่วยให้ลองได้ เราจะแยกเวลาที่รอกว่าจะได้ยินคำตอบออกจากการตัดสินใจว่าเมื่อไรควรเริ่มพูด แล้วดูว่าโมเดลเหลือทรัพยากรให้แอปอื่นบนเครื่องเท่าไร

ตัวอย่างเส้นทางเสียงจากไมโครโฟน ผ่าน MLX บนเครื่อง ไปที่ลำโพง

หลังติดตั้งเสร็จ ระบบบนเครื่องประมวลผลเสียงในอุปกรณ์ ส่วนการใช้ API บนเซิร์ฟเวอร์เป็นอีกเส้นทางหนึ่ง

ควรจับเวลาที่รายงานว่าประมาณหนึ่งวินาทีอย่างไร?

บน M4 Max ที่มีหน่วยความจำ 36 GB การ์ดโมเดลรุ่น Mac ของโครงการ รายงานว่าเริ่มได้ยินเสียงตอบหลังหยุดพูด 0.9–1.1 วินาที เมื่อโมเดลมั่นใจว่าผู้ใช้พูดจบ หากต้องใช้เวลาตัดสินใจเพิ่ม อาจรอได้ถึงประมาณ 2.5 วินาที นี่เป็นผลของโครงการสำหรับการตั้งค่านั้น ก่อนลองทำซ้ำ ให้กำหนดว่า “หยุดพูด” หมายถึงอะไร คุณทำเครื่องหมายพยางค์สุดท้ายที่ได้ยินในเสียงบันทึกได้ ส่วนระบบตัดสินเองว่าตอนไหนผู้ใช้พูดจบ เวลาสองจุดนี้อาจต่างกันเพียงเพราะมีช่วงหยุดที่คนทั่วไปฟังแล้วรู้สึกปกติ

เวลาแฝงก่อนเสียงแรกครอบคลุมทุกอย่างตั้งแต่ผู้ใช้พูดจบจนได้ยินโมเดลตอบ บางครั้งช่องว่างมาจากการประมวลผล บางครั้งเกิดจากการรอตัดสินว่าผู้ใช้พูดจบหรือยัง โมเดลที่ตอบเร็วก็อาจแทรกทุกครั้งที่หยุด ถ้ามันสรุปเร็วเกินไปว่าความเงียบแปลว่าพูดจบ ระบบที่จัดจังหวะดีอาจยอมรออีกนิดเมื่อไม่แน่ใจว่าถึงคราวตอบหรือยัง นาฬิกาจับเวลาอย่างเดียวบอกไม่ได้ว่าประสบการณ์ไหนดีกว่า

ลองคำถามว่า “ทำไมคุณถึงเลือกใช้แคช?” ตอบสั้น ๆ ให้จบชัดเจนแล้วรอให้แอปตอบ รอบที่สองพูดว่า “เราเลือกใช้แคชเพราะว่า…” แล้วหยุดก่อนพูดต่อ รอบที่สามตอบเหมือนเดิมแต่เปิดพัดลมใกล้ ๆ แอปอาจใช้เวลาเท่ากันกว่าจะส่งเสียงแรกในการลองง่าย ๆ แต่ทำพลาดชัดเจนในอีกสองรอบ เทียบเวลาเมื่อแน่ใจก่อนว่าแอปเริ่มตอบในจังหวะที่ควรตอบ

เหตุการณ์ในบทสนทนาสิ่งที่ควรบันทึกความสำคัญ
ตอบจบชัดเจนเวลาจากพยางค์สุดท้ายจนได้ยินเสียงตอบแรกบอกว่ารอหลังพูดจบแล้วรู้สึกช้าหรือไม่
หยุดกลางประโยคผู้ช่วยรอหรือเริ่มตอบ?บอกว่าระบบตีความความเงียบว่าเริ่มพูดได้หรือไม่
แก้ข้อมูลระหว่างเล่นเสียงใช้เวลาเท่าไรจึงหยุดพูด และเข้าใจที่แก้ไหมทดสอบว่าผู้ใช้กลับมาเป็นคนพูดได้หรือไม่
ไมโครโฟนรับเสียงที่อุปกรณ์เล่นมีการตอบสนองต่อเสียงตัวเองหรือคำซ้ำไหมบอกผลของเสียงสะท้อนในห้องจริง

คุณลองเก็บข้อมูลเหล่านี้ที่บ้านด้วยเสียงของตัวเองได้ จดสภาพการทดสอบคู่กับตัวเลข เสียงสะท้อนผ่านลำโพงกับหูฟังคนละทาง การเปิดพัดลมใช้จำลองสภาพจริง ส่วนการวัดเสียงพูดแบบมาตรฐานต้องมีการควบคุมอื่น การทดลองในห้องที่ไม่ได้คุมสภาพจึงนำไปเทียบเวลาแฝงกับเซิร์ฟเวอร์โดยตรงไม่ได้

การพูดแทรกต้องทดสอบสองเรื่อง

Sophon อธิบายว่ารุ่นสำหรับ Mac รับส่งเสียงพร้อมกันสองทิศทาง และรองรับการพูดแทรกกับการตัดเสียงสะท้อน การพูดแทรกในแอปสนทนาจะใช้ได้เมื่อระบบหยุดเสียงของตัวเองและยังรับข้อมูลใหม่ได้ ถ้าระบบเงียบทันทีเมื่อได้ยิน “ขอโทษที ผมหมายถึงวันอังคาร” แต่ยังคิดต่อจากวันพฤหัสบดี ก็เพิ่งแก้ปัญหาไปครึ่งเดียว

สำหรับการซ้อมสัมภาษณ์ ลองให้แอปถามคำถามต่อเนื่องแบบยาว แล้วพูดว่า “เดี๋ยวก่อน ผมกำลังพูดถึงการย้ายฐานข้อมูล ไม่ใช่การเปิดตัวกับลูกค้า” จดว่าเสียงตอบหยุดไหม แอปรับรู้คำแก้ไขหรือไม่ และคำถามจริงถัดไปพูดถึงเรื่องที่แก้แล้วหรือเปล่า ลองแทรกทั้งด้วยข้อความแก้ไขที่มีความหมายและด้วยเสียงสั้น ๆ เช่น ไอ แอปไม่จำเป็นต้องตอบสนองต่อทั้งสองกรณีเหมือนกัน การผ่านกรณีแรกอย่างเดียวอาจทำให้มองข้ามว่าในห้องจริงระบบหยุดเสียงง่ายเกินไปแค่ไหน

เสียงสะท้อนเป็นอีกเรื่องหนึ่ง ลองทั้งใส่หูฟังและใช้ลำโพงระดับเสียงสบาย ๆ ถ้าคำตอบรับของผู้ช่วยกระตุ้นให้เริ่มอัดเสียงรอบใหม่เอง การขยับไมโครโฟนหรือเปลี่ยนวิธีตัดเสียงสะท้อนอาจช่วยมากกว่าการลดขนาดโมเดล อย่าเปลี่ยนฮาร์ดแวร์ โมเดล และการตั้งค่าเสียงพร้อมกัน คุณจะได้ชี้ได้ว่ารอบถัดไปดีขึ้นหรือแย่ลงเพราะอะไร

สามจังหวะสนทนาตัวอย่าง ได้แก่ หยุดสั้น ๆ ตอบรับ และพูดแทรก

ทดสอบการหยุดคิดกับการจงใจพูดแก้แยกกัน ทั้งคู่มีจังหวะเงียบได้ แต่แอปควรตอบสนองต่างกัน

รุ่น Mac ทำให้หน่วยความจำเป็นส่วนหนึ่งของประสบการณ์

คู่มือติดตั้งบน Mac อธิบายการใช้ MLX บน Apple Silicon และแนะนำหน่วยความจำรวม 36 GB ขึ้นไป การดาวน์โหลดประมาณ 24 GB เป็นปริมาณพื้นที่จัดเก็บ ยังบอกไม่ได้ว่าหน่วยความจำที่ใช้งานจริงเท่ากับ 24 GB โมเดล แคช การประมวลผลเสียง และแอปอื่นแบ่งทรัพยากรเดียวกันระหว่างใช้งาน

ในการลองครั้งแรก ปิดแอปที่กินหน่วยความจำมากแล้วใช้บทสนทนาสั้น ๆ เปิด Activity Monitor ดูภาระหน่วยความจำและดูว่าปริมาณสวอปเพิ่มขึ้นระหว่างรันหรือไม่ จากนั้นเปิดเครื่องมือที่คุณใช้ร่วมกับผู้ช่วยจริง ๆ แล้วลองใหม่ แม้โมเดลโหลดได้ หากหน่วยความจำตึงขึ้นหรือเสียงกระตุก ก็อาจใช้เป็นประจำได้ยาก ลองหาการตั้งค่าที่ใช้ได้สบาย เครื่องสเปกต่ำสุดที่พอเปิดโปรแกรมได้อาจยังทำงานได้ไม่ดีพอ

วันที่ 16 พฤศจิกายน โครงการประกาศรุ่น 4B แยกสำหรับ GPU ทั่วไป บันทึกรุ่นระบุวิธีใช้ GPU เหล่านั้นแยกจาก 32B Flash-4bit MLX บน Mac ตัวเลข VRAM ที่ต่ำกว่าของระบบอื่นไม่มีผลต่อข้อแนะนำของ Mac ผลจาก API บนเซิร์ฟเวอร์ GPU เซิร์ฟเวอร์ และ MLX ที่รันบนเครื่องยังใช้โมเดลและสภาพการรับโหลดต่างกัน เลือกเส้นทางที่จะใช้ก่อนตีความตัวเลขจากคลังโค้ด

ภาษาที่รองรับอย่างเป็นทางการมีผลต่อระบบเสียง คลังโค้ดระบุว่าภาษาเกาหลีอยู่ในแผน ใช้ภาษาที่เอกสารระบุว่ารองรับ เช่น ภาษาอังกฤษ ในการลองครั้งแรก ความสามารถหลายภาษาของโมเดลอย่างเดียวรับรองไม่ได้ว่าน้ำเสียง การรู้จำคำพูด และจังหวะสลับกันพูดจะทำงานเหมือนกันในแต่ละภาษา ถ้าต้องสัมภาษณ์เป็นภาษาเกาหลี รุ่นปัจจุบันช่วยให้เรียนรู้วิธีทดสอบการโต้ตอบได้ แต่ต้องตรวจการรองรับภาษาเกาหลีแยกต่างหาก

ทดสอบออฟไลน์หลังดาวน์โหลดเสร็จ

ขั้นเตรียมการต้องใช้เครือข่ายเพื่อดาวน์โหลดส่วนประกอบและค่าน้ำหนักโมเดลตามคู่มือ Mac ทำตามเอกสาร อ่านสคริปต์ก่อนติดตั้ง และตรวจว่าไฟล์จะเก็บไว้ที่ไหนบนเครื่อง สิทธิ์ใช้ไมโครโฟนเป็นอีกเรื่องหนึ่งที่แยกจากการติดตั้งโมเดล เริ่มจากเสียงที่คุณมีสิทธิ์ใช้ และขออนุญาตก่อนบันทึกเสียงผู้อื่น

  1. ทำตามคู่มือติดตั้ง Mac และระบุรุ่นของโครงการให้แน่นอนถ้าทำได้ รอให้ดาวน์โหลดเสร็จแล้วลองคุยหนึ่งรอบด้วยภาษาที่รองรับขณะยังต่อเน็ต
  2. ตัดการเชื่อมต่อหลังตั้งค่าเสร็จ เริ่มเซสชันใหม่บนเครื่องแล้วตรวจว่าคำถามเสียงใหม่ได้คำตอบใหม่ แทนตัวอย่างที่เก็บไว้ในแคช
  3. ลองตอบจนจบ หยุดกลางประโยค และพูดแก้ไขหลายครั้งโดยใช้ไมโครโฟนกับลำโพงเหมือนเดิม จดรุ่นเครื่อง หน่วยความจำ ข้อผิดพลาด และเวลาที่สังเกตได้
  4. ลองช่วงสั้น ๆ อีกครั้งโดยเปิดแอปที่ใช้ตามปกติ หากช้าลงหรือเสียงแย่ลง ให้ตรวจภาระหน่วยความจำและสิ่งที่ต่างจากรอบแรกก่อนสรุป

ประกาศ API บนเซิร์ฟเวอร์วันที่ 14 พฤศจิกายน เปิดทางให้นักพัฒนาทดลองโดยไม่ต้องติดตั้งโมเดลในเครื่อง ใช้เทียบการโต้ตอบหรือพัฒนาการเชื่อมต่อได้ ในเส้นทางนี้แอปส่งเสียงไปยังบริการซึ่งมีเงื่อนไขด้านความเป็นส่วนตัวและเครือข่ายของตัวเอง การสลับจาก API บนเซิร์ฟเวอร์ไปยังเครื่องมือบรรทัดคำสั่งบน Mac เปลี่ยนมากกว่าแค่ว่าสคริปต์เดิมเปิดได้หรือไม่

การใช้งานออฟไลน์ช่วยลดข้อมูลที่ส่งออกจากอุปกรณ์ได้ มีประโยชน์เวลาซ้อมเล่าเรื่องละเอียดอ่อนหรือสร้างต้นแบบที่ต้องใช้บนเครือข่ายไม่เสถียร แต่แอปอาจยังเขียนข้อมูลลงดิสก์ ตรวจซอฟต์แวร์ที่ใช้ รวมถึงเสียงบันทึก ข้อความถอดเสียง และบันทึกระบบ การทดลองโดยไม่ต่อเน็ตแสดงได้ว่าบทสนทนายังทำงานเมื่อขาดเครือข่าย ส่วนคุณสมบัติด้านความเป็นส่วนตัวอื่นของแอปในอนาคตต้องตรวจแยกกัน

อีกกรณีคือต้นแบบกรอกแบบฟอร์มด้วยเสียง สมมติผู้ใช้ตอบสี่คำถามและแก้คำตอบล่าสุดได้ก่อนจะไปต่อ แอปควรเก็บคำตอบที่ยืนยันแล้วแยกจากการตีความล่าสุดของโมเดลเสียง ถ้ามีการพูดแก้ขณะเล่นเสียงอยู่ ให้เปลี่ยนช่องที่เกี่ยวข้องหลังจากเข้าใจสิ่งที่แก้แล้วเท่านั้น การคุยแบบไม่ต้องใช้มืออาจทำให้ใช้งานง่ายขึ้น ส่วนแอปยังต้องกำหนดว่าคำตอบร่างจะถูกบันทึกจริงเมื่อไร

เมื่อต้องเทียบสองรุ่น ให้จดเงื่อนไขผ่านก่อนเริ่มรัน เช่น ระบบต้องไม่แทรกระหว่างช่วงหยุดคิด หยุดเล่นเสียงเมื่อผู้ใช้พูดแก้ และถามข้อต่อไปตามเรื่องที่แก้แล้ว แยกบันทึกจำนวนรอบที่ทำครบ หากมีรอบที่เปรียบเทียบได้มากพอ ให้ใช้ค่ามัธยฐานและพิสัยกับตัวเลขเวลา จดรอบที่ต้องลองใหม่ด้วย สำหรับการทดสอบเล็ก ๆ ที่บ้าน การดูแต่ละรอบที่ล้มเหลวมักให้ข้อมูลมากกว่าค่าเฉลี่ยหนึ่งค่า

ใช้โจทย์เดียวกันทั้งแบบออฟไลน์และแบบออนไลน์ บริการบนเซิร์ฟเวอร์เป็นชุดเปรียบเทียบได้เมื่อต้นแบบมีหน่วยความจำไม่พอให้ระบบเสียงรันในเครื่อง แต่ถ้าเสียง การตั้งค่าจังหวะพูด โมเดล และสิทธิ์การเข้าถึงอุปกรณ์ต่างกัน ให้จดความต่างเหล่านั้น เวลารอที่สั้นกว่ายังไม่บอกว่าวิธีไหนรับมือได้ดีกว่าเมื่อผู้ใช้ลังเลหรือต้องทำงานโดยไม่มีอินเทอร์เน็ต ใช้ผลเพื่อเลือกให้เหมาะกับแอปที่กำลังทำ

ต้นแบบควรมีวิธีกลับมาทำงานที่ผู้ใช้เข้าใจได้ สมมติผู้ใช้ขัดผู้ช่วยขณะพูดแล้วเงียบไป สัญญาณภาพสั้น ๆ หรือตัวบอกสถานะบนเครื่องช่วยให้รู้ว่าระบบกำลังฟังอยู่ หากถอดอุปกรณ์เสียงหรือโมเดลปิดตัวเพราะหน่วยความจำตึง ให้ตรวจว่าแอปกลับสู่สถานะรอที่กำหนดไว้ก่อนเริ่มเซสชันใหม่ วัดการกู้คืนแยกจากเวลาตอบกลับ ระบบที่ตอบไวในรอบที่ราบรื่นยังอาจทำให้หงุดหงิดได้เมื่อบทสนทนาจริงหลุดจากที่คาดไว้

การซ้อมสัมภาษณ์บนเครื่องต้องเหลือจังหวะให้คนพูด

การทดสอบที่เห็นผลชัดอาจใช้ไม่ถึงหนึ่งนาที เริ่มตอบ หยุดครู่หนึ่ง พูดให้จบ ปล่อยให้ผู้ช่วยเริ่มตอบ แล้วแก้รายละเอียดขณะที่มันยังพูด ถ้าทุกจังหวะเป็นไปตามที่ตั้งใจ เสียงจะเริ่มทำหน้าที่เป็นช่องทางโต้ตอบ มากกว่าการเปิดไฟล์เสียงทีละไฟล์ รุ่น Mac เปิดโอกาสให้คนที่มีหน่วยความจำพอลองแบบนี้บนเครื่องได้ ผลยังขึ้นกับเครื่อง ภาษา สภาพห้อง และซอฟต์แวร์ที่ใช้

แหล่งข้อมูล


เก็บคำถามสัมภาษณ์ บันทึกการซ้อม และข้อสังเกตจากการทดสอบบนเครื่องไว้ด้วยกัน เริ่มบันทึกแรกของคุณกับ Telli.sh.


← กลับไปที่บล็อก