คอมพิวเตอร์ของคุณทำทั้งคำบรรยายและเสียงพากย์ได้หรือเปล่า?

คุณมีวิดีโอสาธิตสินค้าฉบับตัดหยาบ เสียงเพื่อนร่วมงานสองคนที่พูดประกอบ และคำบรรยายเสียงสามประโยคที่ต้องอัดใหม่ การส่งเสียงไปบริการถอดคำและส่งสคริปต์ไปบริการสร้างเสียงเป็นวิธีที่คุ้นเคย การทำทั้งสองอย่างบนเครื่องตัดต่ออาจช่วยให้แก้ซ้ำง่ายขึ้น โดยเฉพาะเมื่อไฟล์ต้นฉบับต้องอยู่บนเครื่องนั้น สิ่งที่ตามมาคือคนตัดต่อต้องดูแลคิว ไฟล์โมเดล และการตรวจคุณภาพเอง

วันที่ 4 พฤศจิกายน 2026 โครงการรันโมเดลโอเพนซอร์ส llama.cpp ออกรุ่น 0.9.0 รุ่นนี้รองรับการถอดเสียงออฟไลน์ด้วย NVIDIA Nemotron 3.5 Transcribe การสร้างเสียงจากข้อความด้วย Chatterbox และเสียงสำเร็จรูป Pocket TTS ที่ใช้ได้โดยไม่ต้องมีเสียงอ้างอิง บันทึกการออกรุ่นระบุว่าถอดเสียงได้ 40 ภาษา รับบริบทในพรอมป์ และระบุผู้พูดได้ ทั้งสามอย่างอยู่ในงานตัดต่อเดียวกันได้ แต่ต้องการทรัพยากรและวิธีตรวจผลต่างกัน บันทึกการออกรุ่น llama.cpp v0.9.0

ถ้าคุณรู้จัก llama.cpp จากการเปิดแชตบอตบนเครื่อง ชื่อนี้อาจทำให้คิดว่ารุ่นใหม่มีขอบเขตแคบกว่าที่เป็นจริง มันคือรันไทม์สำหรับสถาปัตยกรรมโมเดลที่รองรับ มีเครื่องมือโหลดไฟล์ที่เข้ากันได้และรับคำขอ อัปเดตนี้ขยายสิ่งที่ชุดเครื่องมือทำได้ ส่วนแอปที่ครอบอยู่ยังกำหนดว่าจะเก็บเสียงที่ไหน แสดงคำแก้อย่างไร และเมื่อไรไฟล์พร้อมเผยแพร่ โครงการ llama.cpp

Telli.sh รันบิลด์ Windows ทางการที่เชื่อมจากรุ่นนี้และจัดรูปข้อความรุ่นที่ได้จริง จึงยืนยันได้ว่าใช้บิลด์ใด บิลด์ b12110 ที่เชื่อมจากการออกรุ่น

คำบรรยายเริ่มจากบทถอดเสียงที่แก้ไขได้

สมมติว่าเพื่อนร่วมงานอัดสาธิตสินค้าที่ยังไม่เปิดตัวสิบนาที อีกคนพูดแทรกเพื่อแก้ชื่อฟีเจอร์ คุณต้องการบทถอดเสียงที่ค้นได้ รู้คร่าว ๆ ว่าใครพูดอะไร และท้ายที่สุดต้องมีคำบรรยายตรงกับเฟรม ทั้งสามอย่างคือคนละผลลัพธ์ อย่างแรกเป็นไฟล์ข้อความ อย่างที่สองเป็นป้ายกำกับเพื่อแก้ไข และอย่างที่สามต้องมีข้อมูลเวลา

การเชื่อม Nemotron ใช้เริ่มสองอย่างแรกได้ โค้ดที่รวมแล้วรองรับการถอดออฟไลน์พร้อมบริบทตามต้องการและป้ายผู้พูด โดยเก็บข้อมูลผู้พูดข้ามช่วงการประมวลผลในไฟล์เดียวกันได้ บันทึกของผู้ดูแลระบุว่าการให้เวลารายคำและการประมวลผลแบบสตรีมอยู่นอกขอบเขตงานนี้ วิธีใช้คือถอดไฟล์ที่อัดเสร็จ แก้ข้อความ แล้วจับเวลาในขั้นตัดต่อหรือทำคำบรรยายแยกเมื่อผลงานต้องใช้เวลาแม่นยำ การเชื่อม Nemotron 3.5 Transcribe

ภาพประกอบโดย Telli.sh บทถอดเสียงบนเครื่องเป็นข้อความที่แก้ได้ จับเวลาคำบรรยายหลังตรวจข้อความและป้ายผู้พูดแล้ว

บริบทในพรอมป์มีประโยชน์กับทีมที่ใช้คำซึ่งไม่ค่อยได้ยินทั่วไป สำหรับเสียงเรื่องฟีเจอร์สมมติชื่อ Pine Relay ลองใส่รายชื่อและตัวย่อสั้น ๆ ที่คาดว่าจะได้ยิน แล้วรันคลิปเดิมแบบไม่ใส่ ตรวจว่าบริบทช่วยแก้ชื่อได้ไหม มีการแทรกชื่อในจุดที่ไม่มีใครพูดหรือเปล่า และมีเลขหรือคำอื่นเปลี่ยนไหม จำกัดรายการให้สั้นพออธิบายได้ว่าคำไหนส่งผล ผู้ช่วยถอดเสียงควรทำให้ตรวจศัพท์แปลกง่ายขึ้น โดยไม่ปล่อยให้รายการศัพท์เขียนทับสิ่งที่คนพูดจริง

ป้ายผู้พูดควรตรวจแยก บทสัมภาษณ์สองคนที่เสียงชัดอาจแยกง่าย พอเพิ่มคนที่สามผ่านลำโพงโทรศัพท์และมีบางประโยคพูดทับกัน เวลาที่ต้องใช้แก้อาจเปลี่ยนไป ฟังช่วงเปลี่ยนคนพูดและช่วงพูดยาวที่สุดของแต่ละคน ข้อความอาจตรงทั้งหมดแต่โยงการตัดสินใจสำคัญให้ผิดคน แยกป้ายที่โมเดลให้จากชื่อที่คนระบุ จนกว่าผู้รู้บริบทของเสียงจะยืนยัน

สำหรับคำบรรยาย ให้เปิดไฟล์ที่ส่งออกเทียบวิดีโอ ประโยคที่ดูดีในเอกสารอาจล้นจอ ขึ้นก่อนฉากเฉลย หรือค้างเมื่อคนถัดไปเริ่มพูด ทดสอบการตัดฉับและช่วงพูดแทรกสั้นใกล้ต้นคลิป ถ้าต้องการไฟล์คำบรรยายที่เวลาไว้ใจได้ ให้รวมเวลาจับจังหวะและแก้ในแผน บทถอดรอบแรกที่ดีมีประโยชน์ แม้ต้องประกอบฉบับสุดท้ายในโปรแกรมอื่น

เสียงสำเร็จรูปเหมาะกับการลองครั้งแรก

ลองดูอีกครึ่งของฉบับตัดหยาบ ชื่อฟีเจอร์เปลี่ยน จึงต้องแทนเสียงพากย์หนึ่งประโยคในวิดีโอบันทึกจอหกไฟล์ เมื่อโมเดลและเครื่องพร้อม การสร้างเสียงรอบใหม่บนเครื่องเป็นการลองที่ไม่แพง จุดยากคือความสม่ำเสมอและการออกเสียง เสียงใหม่ต้องเข้ากับคลิปข้างเคียง อ่านชื่อสินค้าได้ถูก และพอดีกับช็อต

รุ่น 0.9.0 เพิ่ม Chatterbox ในกลุ่มโมเดลแปลงข้อความเป็นเสียงที่ llama.cpp รองรับ การตรวจของโครงการรายงานการรัน Chatterbox Turbo และ Multilingual V3 บน CUDA ผู้ตรวจลองทั้งเสียงตั้งต้นและการสร้างจากเสียงอ้างอิงพร้อมแนบตัวอย่าง หลักฐานนี้มาจากการตรวจส่วนเชื่อมบนชุดทดสอบหนึ่ง คำถามสำหรับงานจริงคือเสียงและภาษาที่เลือกยังคงเสมอต้นเสมอปลายกับข้อความและเครื่องที่จะใช้หรือไม่ การรองรับ Chatterbox และตัวอย่างเสียงของผู้ดูแล

Pocket TTS มีอีกทาง โมเดลที่เข้ากันได้ส่งรายชื่อเสียงในตัวผ่าน voices ในผลตอบกลับ GET /props ของเซิร์ฟเวอร์ แล้วไคลเอนต์ส่งชื่อจากรายการไปจุดรับคำขอสร้างเสียงได้ สคริปต์หรือแอปเล็กจึงเติมรายการเลือกเสียงจากโมเดลที่โหลดอยู่ได้ การลองรอบแรกก็ใช้เสียงสำเร็จรูปโดยไม่ต้องหาและเก็บเสียงคนมาเลียนแบบ จดชื่อโมเดลและเสียงในบันทึกส่งออกเพื่อให้กลับมาแก้ด้วยชุดเดิมได้ การรองรับเสียงสำเร็จรูปใน Pocket TTS

ภาพประกอบโดย Telli.sh ฟังเสียงจริงก่อนส่งออก ชื่อเสียงบอกว่าคุณสั่งอะไร ส่วนการฟังบอกว่าได้อะไร

เริ่มด้วยสคริปต์สั้นที่มีคำซึ่งตัวอย่างทั่วไปมักข้าม ใส่รหัสสินค้า รูปแบบที่อยู่หรือตัวเลขพร้อมหน่วย และประโยคที่น้ำเสียงสำคัญ ลองสร้างสามประโยคแยกกันแล้วค่อยสร้างทั้งย่อหน้า เสียงอาจสม่ำเสมอในประโยคเดี่ยวแต่รีบผ่านคำสำคัญเมื่ออ่านยาว ให้คนที่รู้ภาษาของผู้ชมฟังโดยไม่เห็นสคริปต์ก่อน แล้วเทียบสิ่งที่ได้ยินกับข้อความที่ตั้งใจ

เก็บเสียงสุดท้ายแยกจากสคริปต์และเสียงต้นฉบับ หากเจอว่าตัวเลขอ่านผิด คุณแก้เฉพาะเทกได้โดยไม่เสียฉบับตัดต่อเดิม สำหรับงานที่มีนักพากย์ที่ได้รับอนุญาตอยู่แล้ว ให้ติดป้ายแยกเสียงที่อัดจริงกับเสียงทางเลือกที่สร้างขึ้น เพื่อไม่ให้สลับกันโดยไม่รู้ เสียงสำเร็จรูปเหมาะเมื่อโครงการต้องการแค่เสียงที่ฟังรู้เรื่องและคงที่

เวอร์ชันรันไทม์เป็นเพียงส่วนหนึ่งของการตั้งค่า

รุ่นนี้ช่วยให้ทีมที่ใช้ llama.cpp อยู่แล้วมีเหตุผลน้อยลงที่จะเปลี่ยนรันไทม์ แต่ยังต้องใช้บิลด์ที่เข้ากับเครื่อง ไฟล์โมเดลที่ถูกต้อง และไฟล์ประกอบเฉพาะโมเดล เช่น ตัวฉายหลายสื่อที่ส่วนเชื่อม Nemotron ระบุ ไฟล์น้ำหนักต้องดาวน์โหลดแยกและมีเงื่อนไขของตัวเอง ตรวจเอกสารทั้งรันไทม์และโมเดลก่อนจัดชุดให้ทีมอื่นหรือลูกค้า ไฟล์จากการออกรุ่น และ บันทึกการตั้งค่า Nemotron

ควรวัดหน่วยความจำตอนทำงานหลังโหลดโมเดลแล้ว ขนาดไฟล์บอกพื้นที่ดิสก์เท่านั้น การรันยังต้องใช้ที่สำหรับการคำนวณ บัฟเฟอร์ระบบหลังบ้าน และข้อมูลระหว่างทาง เดสก์ท็อปอาจเริ่มถอดเสียงได้แต่ทำให้โปรแกรมตัดต่อช้าเมื่อแย่ง GPU กัน แล็ปท็อปที่รันรอบเดียวได้อาจใช้เวลามากขึ้นในรอบสี่เพราะความร้อนและงานเบื้องหลัง จด RAM สูงสุดและหน่วยความจำ GPU เมื่อเกี่ยวข้อง โดยเปิดโปรแกรมตัดต่อในสภาพที่จะใช้จริง

ผู้ดูแลแชร์การตรวจการถอดเสียงในคำขอรวม Nemotron รวมชุดเสียงชัดและเสียงประชุม โดยใช้การควอนไทซ์ที่ระบุและ RTX PRO 6000 Blackwell ผลช่วยอธิบายว่าตรวจการเชื่อมอย่างไร ถ้าจะซื้อหรือปรับใช้ ให้วัดกับไฟล์และเครื่องของตัวเอง แม้ฮาร์ดแวร์เดิม การเปลี่ยนความละเอียดของตัวเลข เปลี่ยนภาษา หรือเพิ่มเสียงพูดทับอาจเปลี่ยนทั้งเวลารันและเวลาที่ใช้ตรวจ การตรวจสอบและตั้งค่า Nemotron

เปรียบเทียบรุ่นแบบตรงไปตรงมา b12144 วันที่ 6 พฤศจิกายนเป็นรุ่นก่อนเผยแพร่แยกที่เปลี่ยนการจัดวาง mixture-of-experts บน CUDA หากต้องการดูความสามารถเสียง ให้เริ่มจากรุ่นมีหมายเลขวันที่ 4 พฤศจิกายนและตรึงไฟล์โมเดลกับการตั้งค่า ถ้าลองรุ่นก่อนเผยแพร่ภายหลัง ให้บันทึกเป็นคนละรอบ จึงบอกได้ว่าความเปลี่ยนแปลงมาจากโมเดลเสียง ระบบประมวลผล หรือแอปที่ครอบอยู่ บันทึกรุ่นก่อนเผยแพร่วันที่ 6 พฤศจิกายน

การประมวลผลบนเครื่องควรระบุให้ชัดว่าอะไรอยู่บนเครื่องบ้าง ขั้นตอนอาจเรียกเซิร์ฟเวอร์ในเครื่อง แต่แอปอื่นยังส่งล็อก ซิงก์โฟลเดอร์ผลลัพธ์ หรือดึงส่วนประกอบได้ ก่อนใช้เสียงอ่อนไหว ให้เตรียมไฟล์โปรแกรมและน้ำหนักผ่านเครื่องทดสอบหรือขั้นตั้งค่าที่กำหนด จากนั้นตัดเครือข่ายและใช้คลิปที่ไม่มีข้อมูลสำคัญเพื่อดูว่าขั้นไหนทำจนจบ ตรวจตำแหน่งไฟล์ต้นฉบับ ข้อมูลชั่วคราว และไฟล์ส่งออก รันไทม์ในเครื่องกำหนดขอบเขตการรันโมเดลได้ ส่วนแอปกำหนดเส้นทางข้อมูลทั้งหมด

ลองโครงการหนึ่งบนเครื่องที่คุณใช้จริง

1. เลือกอินพุตสั้นสองชุดที่แชร์ได้ อัดเสียงสองคน 30 ถึง 60 วินาที ให้มีเสียงทับเล็กน้อยและชื่อฟีเจอร์สมมติ เขียนบทบรรยายสั้นที่ใช้ชื่อเดิมและเลขอ่านยากหนึ่งตัว เก็บอินพุตไว้เหมือนเดิมทุกรอบเพื่อดูผลของการเปลี่ยนการตั้งค่า
2. ตรึงรันไทม์และโมเดล เลือกซอร์ส v0.9.0 หรือบิลด์ b12110 ที่เชื่อมไว้สำหรับเครื่องคุณ จดแหล่งโมเดล ชื่อไฟล์และการควอนไทซ์ สำหรับ Nemotron ผ่าน llama-server บันทึกการเชื่อมระบุ --reasoning off เพราะเทมเพลตตั้งต้นอาจคืนข้อความการให้เหตุผลโดยไม่มีบทถอดเสียง บันทึกระบุว่า CLI แบบหลายสื่อไม่ต้องใช้สวิตช์นี้ ทดสอบให้ตรงกับทางที่ตั้งใจใช้จริง บันทึกการเชื่อม Nemotron
3. วัดรอบเริ่มจากศูนย์แล้วลองซ้ำ จดเวลาจากเริ่มจนได้ผลรอบแรก และเวลารอหลังโมเดลโหลดแล้ว สำหรับถอดเสียง ให้หารเวลาประมวลผลด้วยความยาวเสียงเพื่อกะการรอไฟล์ยาวกว่า จดหน่วยความจำสูงสุดและดูว่าโปรแกรมตัดต่อยังตอบสนองไหม งานพากย์อาจสนใจเวลาตั้งแต่แก้บทหนึ่งบรรทัดจนได้ฟังเทกใหม่มากกว่า
4. เทียบข้อผิดพลาดตามเวลาที่ต้องเสียแก้ ทำเครื่องหมายศัพท์ตกหล่น เลขผิด ป้ายผู้พูดสลับ และประโยคที่ต้องตั้งเวลาใหม่ รวมเวลาแก้ในเวลาทำเสร็จ งานพากย์ให้ตรวจชื่อ ตัวเลข การหยุด และความพอดีกับภาพ เปรียบเทียบโดยนับฉบับที่แก้แล้วด้วย
5. กำหนดการส่งต่องานก่อนทำอัตโนมัติ ตัดสินว่าใครตรวจบทถอด ตั้งเวลาที่ไหน และติดป้ายเสียงพากย์ที่อนุมัติอย่างไร ลองคลิปที่สองหลังคลิปแรกผ่าน หากไฟล์ล้มเหลว ให้เก็บอินพุตและแจ้งข้อผิดพลาดในคิวตัดต่อ คนจึงรับช่วงได้โดยไม่ต้องรันทั้งชุดใหม่

ติดตามด้วยตารางสี่คอลัมน์ได้ ได้แก่ การตั้งค่า เวลาประมวลผล เวลาแก้ และผลการอนุมัติ จดสาเหตุเมื่อผลไม่ผ่าน ลองไปสักพักอาจพบว่ารันบนเครื่องเหมาะกับการแก้เสียงพากย์ซ้ำ แต่เสียงสัมภาษณ์กลุ่มที่มีเสียงรบกวนยังต้องใช้ทางอื่น นี่เป็นข้อสรุปที่มีประโยชน์ ใช้แต่ละส่วนตรงที่ช่วยประหยัดเวลาและจดว่าทางสำรองใช้ได้ดีกว่าตรงไหน

ถ้ามีขั้นตอนถอดเสียงที่ดีอยู่แล้ว ให้เทียบด้วยไฟล์และเกณฑ์เดียวกัน คุณย้ายเฉพาะส่วนง่ายกว่าได้ เช่น การทำเสียงพากย์ร่างความเสี่ยงต่ำบนเวิร์กสเตชัน ส่วนงานคำบรรยายที่ไว้ใจได้อาจได้ประโยชน์จากการใช้ส่วนเชื่อมร่วมบนเครื่องภายหลัง เมื่อมีเหตุผลให้รวมบริการโมเดลและระบบใหม่พิสูจน์แล้วว่าผ่านมาตรฐานตัดต่อเดิม

รุ่นนี้มีประโยชน์ที่สุดตรงไหน

กรณีแรกที่เหมาะคืองานที่ทำซ้ำอยู่แล้ว ทีมสอนอาจถอดเทกหยาบก่อนวิดีโอออกจากเครื่องตัดต่อและทำเสียงร่างเพื่อดูจังหวะ นักวิจัยอาจทำบทถอดที่แก้ได้จากไฟล์ที่ดูแล แก้ป้ายผู้พูดและเก็บเสียงเป็นต้นทาง ทีมนักพัฒนาเล็กอาจลองสองทางผ่านหน้าภายในที่แสดงโมเดลที่เลือก ผลงานที่ได้ และข้อผิดพลาดอย่างชัดเจน

รุ่นนี้อาจลดการส่งต่อระหว่างเครื่องมือเฉพาะทางโดยยังคงการตรวจแยก โมเดลถอดเสียงต้องรู้คำและแยกผู้พูด โมเดลสังเคราะห์ยังต้องอ่านบทให้ถูก คนตัดต่อยังตัดสินใจว่าพร้อมใช้หรือไม่ ความเปลี่ยนแปลงคือทั้งสองงานใช้ชุดรันโมเดลเดียวกันได้ และอาจอยู่บนเครื่องที่คุณใช้แล้ว

หากมีไฟล์บันทึกที่เสร็จแล้วและอยากเปิดดูคู่กับบทถอดและโน้ต เริ่มอัปโหลดใน Telli.sh.