AI hardwareอ่าน 23 นาที

ทำไม PFN จึงอยากซ้อนหน่วยความจำไว้บนชิป AI รุ่นถัดไป

ความร่วมมือ MN-Core L2000 ของ PFN และ SEMIFIVE มุ่งแก้คอขวดหน่วยความจำในการอนุมาน AI แผนพัฒนานี้หมายถึงอะไรสำหรับเอเจนต์ AI ส่วนตัว และการซื้อฮาร์ดแวร์ในอนาคต

K
Ken Jo

ผู้ช่วย AI อาจมีหน่วยความจำเพียงพอให้โหลดโมเดลได้ แต่ทุกคำตอบยังรู้สึกเชื่องช้า หน่วยคำนวณพร้อมทำงานแล้ว ทว่าการคำนวณที่เกิดประโยชน์ต้องอาศัยข้อมูลที่ถูกต้องส่งมาถึงในเวลาที่เหมาะสม สำหรับบริษัทที่ให้บริการผู้ช่วยส่วนตัวหลายตัว ความแตกต่างนี้อาจเปลี่ยนสเปกชิปที่น่าประทับใจให้กลายเป็นการรอระหว่างคำที่ชวนอึดอัด

Preferred Networks และ SEMIFIVE กำลังวางเดิมพันด้านการพัฒนาเพื่อแก้ปัญหานี้ ประกาศเมื่อวันที่ 16 พฤศจิกายน 2026 ของทั้งสองบริษัทอธิบาย MN-Core L2000 series ซึ่งเป็นหน่วยประมวลผลที่เน้นการอนุมานและซ้อนวงจรลอจิกกับ DRAM ในแนวตั้ง เป้าหมายที่ระบุคือแบนด์วิดท์หน่วยความจำมากกว่าสองเท่าของ L1000 series รุ่นก่อน PFN เผยแพร่ประกาศบนเว็บไซต์เมื่อวันที่ 17 พฤศจิกายน ประกาศของ PFN

คำถามที่น่าสนใจคือการออกแบบนี้จะเปลี่ยนอะไรให้ผู้ที่ต้องดูแลบริการ AI ในอนาคต การเคลื่อนย้ายข้อมูลที่เร็วขึ้นอาจสำคัญพอ ๆ กับการเพิ่มกำลังคำนวณ ขณะที่การบรรจุชิป การรองรับซอฟต์แวร์ และเซิร์ฟเวอร์สำเร็จรูปเป็นตัวตัดสินว่าประโยชน์จะไปถึงหน้าจอผู้ใช้หรือไม่ ประกาศ L2000 จึงช่วยให้คิดเรื่องเหล่านี้อย่างเป็นระบบก่อนถึงเวลาตัดสินใจซื้อ

บริษัทเบื้องหลัง PLaMo ออกแบบเครื่องจักรที่รองรับมันด้วย

Preferred Networks เป็นบริษัท AI ในโตเกียวที่ทำงานครอบคลุมหน่วยประมวลผล โครงสร้างพื้นฐานการคำนวณ และตระกูลโมเดล PLaMo ในความร่วมมือนี้ PFN รับผิดชอบสถาปัตยกรรมหน่วยประมวลผลและการออกแบบลอจิก ส่วน SEMIFIVE ให้บริการนำแบบไปพัฒนาใช้งานจริงและบริการห่วงโซ่อุปทาน โดยใช้แพลตฟอร์มและโครงสร้างพื้นฐานการออกแบบ 3D-IC ของ Samsung Foundry ข้อมูลบริษัทและบทบาทการพัฒนาของ PFN

การแบ่งหน้าที่นี้สำคัญ เพราะตัวเร่งที่ใช้งานได้จริงมีมากกว่าชุดคำสั่งหรือภาพวาดชิป การออกแบบลอจิกต้องกลายเป็นซิลิคอนที่ผลิตได้ หน่วยความจำต้องเชื่อมต่อเข้ากับมัน และอุปกรณ์ที่บรรจุแล้วต้องทำงานได้สม่ำเสมอ ท้ายที่สุดลูกค้าต้องการการจัดเซิร์ฟเวอร์ที่ทำซ้ำได้ และเส้นทางซอฟต์แวร์ที่เปลี่ยนโมเดลให้เป็นแอปพลิเคชัน ทุกจุดส่งต่องานอาจส่งผลต่อต้นทุนและกำหนดส่งมอบผลิตภัณฑ์สำเร็จรูป

ความเกี่ยวข้องกับ PLaMo ช่วยให้ผู้อ่านเริ่มจากสิ่งที่คุ้นเคย แต่ไม่ได้ยืนยันว่าการติดตั้ง PLaMo ทุกแห่งจะย้ายมาใช้ฮาร์ดแวร์นี้ นักพัฒนาโมเดลกับผู้ซื้อโครงสร้างพื้นฐานยังมีคำถามต่างกัน นักพัฒนาถามว่าสามารถแปลงภาระงานให้ทำงานได้อย่างมีประสิทธิภาพหรือไม่ ส่วนผู้ซื้อถามว่าระบบที่ได้รับการรองรับจะทำตามเป้าหมายบริการได้ตลอดอายุการติดตั้งหรือไม่

สำหรับผู้อ่านชาวเกาหลี การมีส่วนร่วมของ SEMIFIVE เป็นตัวอย่างชัดเจนที่ความเชี่ยวชาญด้านการออกแบบเซมิคอนดักเตอร์ในประเทศเข้ามามีบทบาทในโครงสร้างพื้นฐานการอนุมาน คำถามถัดไปที่มีประโยชน์คือความเชี่ยวชาญนั้นจะกลายเป็นอุปกรณ์ที่ผลิตจริงและระบบที่มีการสนับสนุนอย่างไร ประกาศความร่วมมือบอกว่าใครเข้าร่วมและมุ่งไปทางไหน ส่วนผลิตภัณฑ์ที่ตามมาจะกำหนดทางเลือกที่ลูกค้าได้รับจริง

ความจุกับแบนด์วิดท์หน่วยความจำตอบคนละคำถาม

ความจุบอกว่าระบบหน่วยความจำเก็บข้อมูลได้มากเพียงใด แบนด์วิดท์บอกว่าเคลื่อนย้ายข้อมูลได้มากเพียงใดในช่วงเวลาหนึ่ง โมเดลอาจอยู่ภายในขีดจำกัดแรก แต่ขีดจำกัดที่สองยังจำกัดความเร็วที่หน่วยประมวลผลจัดการมันได้ การเพิ่มความจุเพียงอย่างเดียวจึงไม่รับประกันว่าแอปพลิเคชันจะตอบสนองเร็วขึ้น

การคำนวณเพื่อวางแผนอย่างง่ายช่วยให้เห็นความแตกต่างข้อแรก สมมติว่าโมเดลแบบ dense มีพารามิเตอร์ 30,000 ล้านตัว และใช้สองไบต์ต่อพารามิเตอร์ จะต้องใช้ประมาณ 60,000 ล้านไบต์เฉพาะพารามิเตอร์ ตัวเลขนี้ยังไม่รวมพื้นที่ทำงานระหว่างรัน ข้อมูลแคช attention และค่าใช้จ่ายด้านหน่วยความจำอื่น ๆ นี่คือตัวอย่างการวางงบพื้นที่จัดเก็บ ไม่ใช่การระบุความจุหรือโมเดลที่ L2000 รองรับ

คำถามถัดมาคือภาระงานใช้สิ่งที่เก็บไว้อย่างไร การประมวลผลพรอมป์ต์ขาเข้ากับการสร้างโทเค็นขาออกทีละตัวต้องการทรัพยากรต่างกัน คำอธิบายการปรับประสิทธิภาพการอนุมานของ NVIDIA แยกงานขนานในช่วงประมวลผลพรอมป์ต์ออกจากการถอดรหัสแบบ autoregressive ซึ่งการเคลื่อนย้ายข้อมูลอาจกลายเป็นข้อจำกัด และยังอธิบายว่าการรวมคำขอเป็นแบตช์กับการจัดการแคช attention เปลี่ยนสมดุลนี้อย่างไร คู่มือปรับประสิทธิภาพการอนุมานของ NVIDIA วันที่ 17 พฤศจิกายน 2023

ลองนึกว่าหน่วยความจำเป็นห้องเก็บวัตถุดิบที่เชื่อมกับครัว ห้องที่ใหญ่ขึ้นช่วยให้เก็บวัตถุดิบไว้ได้มาก ส่วนทางเดินที่กว้างขึ้นช่วยให้ครัวรับวัตถุดิบได้เร็วขึ้น แต่ทั้งสองอย่างยังบอกไม่ได้ว่าอาหารจานหนึ่งจะใช้เวลานานเท่าใด เพราะการเตรียมและขั้นตอนอื่นก็สำคัญ การเปรียบเทียบฮาร์ดแวร์จะมีประโยชน์ขึ้นเมื่อยังมองเห็นหน้าที่ที่แยกกันเหล่านี้

ความจุหน่วยความจำ การเคลื่อนย้ายข้อมูล และการตอบสนองของแอปพลิเคชันเป็นคนละส่วนของระบบอนุมาน

แผนภาพอธิบายที่จัดทำขึ้นเอง แยกการเก็บข้อมูล การเคลื่อนย้ายข้อมูล และการตอบสนองของแอปพลิเคชัน ใช้ประกอบการตัดสินใจ ไม่ใช่ภาพโครงสร้างแพ็กเกจ L2000 ที่ยังไม่เปิดเผย

การซ้อนชิปเปลี่ยนทั้งเส้นทางข้อมูลและโจทย์วิศวกรรม

ประกาศอย่างเป็นทางการของ PFN มีแผนภาพวงจรลอจิกและ DRAM ที่ซ้อนในแนวตั้งของ MN-Core L series ช่วยให้เห็นทิศทางที่เสนออย่างเป็นรูปธรรม แต่ไม่ได้แสดงเซิร์ฟเวอร์ครบชุดที่ลูกค้าจะติดตั้ง หรือยืนยันประสิทธิภาพของแอปพลิเคชันที่เสร็จสมบูรณ์

การนำส่วนประกอบมาซ้อนกันหมายความว่าแบบต้องทำงานได้ในฐานะระบบทางกายภาพ การจ่ายไฟ การระบายความร้อน และความสม่ำเสมอในการผลิตต้องอยู่ในการพิจารณาเดียวกับการเคลื่อนย้ายข้อมูล สิ่งเหล่านี้ไม่ใช่งานเก็บตกหลังสถาปัตยกรรมดูน่าสนใจบนสไลด์ แต่มีผลต่อการผลิต บรรจุ ระบายความร้อน และสนับสนุนอุปกรณ์ด้วยต้นทุนที่เหมาะสม

สำหรับผู้ดูแลระบบ การออกแบบแพ็กเกจจึงเป็นจุดเริ่มต้นของการประเมิน แร็กมีกรอบกำลังไฟ สถานที่มีการออกแบบระบบทำความเย็น และบริการมีความคาดหวังเรื่องความพร้อมใช้งาน ตัวเร่งที่เสนอจะต้องเข้ากับทั้งสามอย่างในที่สุด ประโยชน์ทางเศรษฐกิจขึ้นอยู่กับการติดตั้งทั้งระบบ รวมอุปกรณ์และแรงงานที่ทำให้มันทำงานต่อเนื่อง

นี่เป็นเหตุผลที่เรื่องประสิทธิภาพควรมาพร้อมเงื่อนไขการวัด ผลที่ดีของโมเดลหนึ่ง ระดับความละเอียดหนึ่ง และจำนวนคำขอพร้อมกันระดับหนึ่ง ไม่สามารถแทนภาระงานทั้งหมดได้ ลูกค้าต้องเห็นว่าระบบทำงานดีตรงไหน เริ่มไม่มีทรัพยากรเผื่อตรงไหน และทั้งบริการใช้พลังงานเท่าใดเพื่อส่งคำตอบที่เป็นประโยชน์

ภาระงานสามแบบตั้งคำถามต่างกันสามข้อ

ลองพิจารณาผู้ช่วยเอกสารส่วนตัวสำหรับทีมกฎหมายหรือวิศวกรรม บริการตัวอย่างนี้มีคำขอเข้ามาไม่สม่ำเสมอ และผู้ใช้สังเกตช่วงหน่วงก่อนคำตอบเริ่มปรากฏ การประเมินควรรวมเอกสารที่เป็นตัวแทนงานจริง เวลาในการค้นคืน และการตอบครั้งแรกของโมเดล ตัวเร่งอาจปรับปรุงบางช่วงได้ ขณะที่การค้นหาเอกสารหรือการตรวจสิทธิ์ยังเป็นช่วงหน่วงที่ใหญ่กว่า

ตัวอย่างที่สองคือเอเจนต์ภายในที่เรียกโมเดลซ้ำหลายครั้งระหว่างทำงาน การสร้างคำตอบที่ช้าเพียงครั้งเดียวอาจกระทบหลายขั้นตอนที่พึ่งพากัน ผลลัพธ์ที่มีประโยชน์คือเวลาที่ใช้ทำงานซึ่งได้รับอนุญาตอย่างถูกต้องจนเสร็จ รวมผลจากเครื่องมือและการอนุมัติของมนุษย์ถ้ามี การเพิ่มอัตราโทเค็นของโมเดลช่วยเฉพาะส่วนที่รอการสร้างคำตอบจริง ๆ

ตัวอย่างที่สามคือคิวประมวลผลกลางคืนที่จัดหมวดหมู่หรือสรุประเบียนจำนวนมาก งานนี้ยอมรับการรวมแบตช์ได้มากกว่าและสนใจปริมาณงานที่เสร็จทันกำหนดมากกว่า จึงอาจต้องการการจัดระบบต่างจากผู้ช่วยแบบโต้ตอบ แม้ใช้โมเดลเดียวกัน การทบทวนจัดซื้อควรรักษาความแตกต่างนี้ไว้ แทนการเลือกการสาธิตที่ให้ตัวเลขพาดหัวใหญ่ที่สุด

สถานการณ์เหล่านี้เป็นแผนประเมิน ไม่ใช่ผลทดลอง L2000 แสดงให้เห็นว่าสถาปัตยกรรมที่เน้นหน่วยความจำควรค่าแก่การติดตามโดยไม่ต้องสมมติผลประสิทธิภาพเพียงแบบเดียว โครงการนำร่องที่ดีที่สุดเริ่มจากภาระงานที่ทีมเข้าใจอยู่แล้ว และมีผลลัพธ์ให้เทียบกับระบบปัจจุบัน

การตัดสินใจสิ่งที่ทีมควรเตรียมผลลัพธ์ต้องแสดงอะไร
ผู้ช่วยเอกสารส่วนตัวคำถาม เอกสาร และกฎการเข้าถึงที่เป็นตัวแทนคำตอบที่มีประโยชน์มาถึงภายในเป้าหมายเวลาตอบที่ตกลงกัน
เอเจนต์ภายในหลายขั้นตอนงานครบวงจร การเรียกเครื่องมือ และจุดอนุมัติงานเสร็จตั้งแต่ต้นจนจบดีขึ้นโดยไม่เสียความถูกต้อง
คิวประมวลผลกลางคืนชุดระเบียนคงที่และกำหนดเสร็จงานที่ต้องการเสร็จอย่างเชื่อถือได้ภายในงบดำเนินงาน

เป้าหมายแบนด์วิดท์เป็นเพียงข้อมูลหนึ่งในการประเมินบริการ

มุมมองของเราคือการเปรียบเทียบที่มีประโยชน์ที่สุดเริ่มจากงานที่กำลังซื้อความสามารถมาทำ ทีมไม่ได้ซื้อแบนด์วิดท์แยกโดด ๆ แต่ซื้อความสามารถทำงานให้เสร็จภายใต้ข้อจำกัด จึงต้องมีหลักฐานเชื่อมจากโมเดลและรันไทม์ไปถึงเซิร์ฟเวอร์และแอปพลิเคชัน

เริ่มจากการรองรับโมเดล สถาปัตยกรรมจริง ระดับความละเอียด และโอเปอเรเตอร์ที่ต้องใช้ต้องทำงานบนชุดซอฟต์แวร์ที่รองรับได้ คอมไพเลอร์หรือรันไทม์ที่รันการสาธิตได้อาจยังทิ้งงานบูรณาการไว้ให้บริการจริง ควรถามว่ารองรับเวอร์ชันใด ขั้นตอนไหนต้องแปลง และใครดูแลเส้นทางนี้เมื่อโมเดลเปลี่ยน

จากนั้นแยกตัวชี้วัดการตอบสนอง เวลาไปถึงคำตอบแรกที่ใช้งานได้ ความเร็วระหว่างสร้าง และจำนวนคำขอที่เสร็จทั้งหมดบอกประสบการณ์คนละแบบ บันทึกภายใต้ขนาดข้อมูลเข้าและจำนวนคำขอพร้อมกันที่เท่ากัน รวมคำตอบที่ล้มเหลวหรือไม่สมบูรณ์ด้วย การรันที่เร็วขึ้นแต่เปลี่ยนคุณภาพผลลัพธ์หรือทิ้งคำขอเงียบ ๆ ไม่ใช่ผลเดียวกับบริการที่ดีขึ้น

ท้ายที่สุด ให้นำแอปพลิเคชันกลับมาครอบรอบโมเดล การค้นคืน การกลั่นกรอง การเข้าถึงเครื่องมือ คิว และเครือข่ายล้วนใช้เวลา โครงการนำร่องฮาร์ดแวร์ควรแสดงว่างานเต็มรูปแบบใช้เวลารอการอนุมานมากเพียงใด ทีมจึงจะประมาณประโยชน์ที่คาดหวังได้จริงจากเส้นทางอนุมานที่เร็วขึ้นอย่างสมเหตุสมผล

หมุดหมายถัดไปคือการส่งมอบแบบให้โรงงาน

เป้าหมาย tape-out ที่ประกาศคือไตรมาสแรกของปี 2027 ซึ่งเป็นจุดส่งข้อมูลออกแบบขั้นสุดท้ายเข้าสู่การผลิต นี่คือหมุดหมายการพัฒนา ไม่ใช่วันส่งมอบเซิร์ฟเวอร์สำเร็จรูป แผนการพัฒนาของ PFN

ยังต้องผ่านการผลิต การบรรจุชิป การเริ่มเดินระบบ และการตรวจสอบ เพื่อเชื่อมแบบเข้ากับผลิตภัณฑ์ที่ใช้งานได้ จากนั้นการรับรองความพร้อมของซอฟต์แวร์และการบูรณาการระบบจะกำหนดสิ่งที่ลูกค้าติดตั้งได้ ความคืบหน้าในขั้นเหล่านี้อาจเป็นข่าวสำคัญก่อนเปิดขายทั่วไปนานพอสมควร แต่แต่ละขั้นตอบคนละคำถาม

ควรใช้วินัยเดียวกันกับฐานเปรียบเทียบ L1000 เองก็มีกำหนดเปิดตัวในปี 2027 ดังนั้นประกาศนี้เปรียบเทียบรุ่นที่กำลังพัฒนา ไม่ใช่สองระบบที่ซื้อได้ในวันนี้ ประกาศไม่ได้ให้ราคาขายปลีก L2000 กำหนดส่งมอบในเกาหลี หรือผลทดสอบระบบสำเร็จรูป ตารางจัดซื้อควรอิงการจัดระบบที่ผู้ขายรองรับจริงและเงื่อนไขส่งมอบเมื่อมีข้อมูลนั้น

หมุดหมายการพัฒนาแยกประกาศสถาปัตยกรรมออกจากการติดตั้งให้ลูกค้า

แนวทางลำดับการพัฒนาที่จัดทำขึ้นเอง แยกเป้าหมาย tape-out ที่ประกาศออกจากการผลิต การรับรองความพร้อม และการส่งมอบให้ลูกค้าในภายหลัง ซึ่งยังไม่มีวันกำหนด

แฟ้มประเมินที่ใช้งานได้จริงควรมีอะไร

ทีมสามารถทำงานที่มีประโยชน์ระหว่างติดตามแผนพัฒนาได้ ควรจัดทำข้อมูลฐานอย่างกระชับที่ยังมีคุณค่า ไม่ว่าท้ายที่สุดจะซื้อระบบ MN-Core เซิร์ฟเวอร์ GPU หรือบริการโฮสต์ เป้าหมายคือทำให้การเปรียบเทียบฮาร์ดแวร์ในอนาคตประหยัดขึ้นและมีความหมายมากขึ้น

  1. เลือกงานให้ครบวงจร กำหนดงานโต้ตอบหนึ่งงาน และถ้าเกี่ยวข้องให้มีงานแบตช์อีกหนึ่งงาน บันทึกว่าอะไรคือการทำเสร็จอย่างถูกต้อง และเวลาตอบหรือกำหนดเสร็จอยู่ที่เท่าใด
  2. กำหนดวัสดุทดสอบและเวอร์ชันซอฟต์แวร์ให้คงที่ เก็บพรอมป์ต์ เอกสารเข้า รุ่นโมเดล ระดับความละเอียด และค่ารันไทม์ไว้ด้วยกัน ใช้ข้อมูลที่ทีมมีสิทธิ์ประมวลผล
  3. วัดเส้นทางปัจจุบัน บันทึกเวลาตอบของโมเดล เวลางานทั้งหมด ความล้มเหลว และการใช้ทรัพยากรภายใต้ภาระที่คาดหมาย ระบุว่าช่วงไหนบริการรอการค้นคืนหรือเครื่องมือแทนการสร้างคำตอบ
  4. ขอการจัดระบบที่รองรับและตรงกับงาน การทดลองกับผู้ขายในอนาคตควรระบุตัวเร่ง การจัดหน่วยความจำ โฮสต์ รันไทม์ และการรองรับโมเดล ทำให้การเปลี่ยนคุณภาพหรือความละเอียดมองเห็นได้ชัด
  5. เปรียบเทียบการตัดสินใจด้านการดำเนินงาน รวมค่าซื้อ การบูรณาการซอฟต์แวร์ ไฟฟ้า การทำความเย็น การสนับสนุน และงานกู้คืน พิจารณาว่าการปรับปรุงแก้งานเดิมได้ด้วยต้นทุนที่ยอมรับได้หรือไม่

แฟ้มนี้มีประโยชน์กว่าชุดภาพหน้าจออัตรางานที่ไม่เกี่ยวข้องกัน ช่วยป้องกันไม่ให้ทีมเปลี่ยนภาระงานทุกครั้งที่มีระบบใหม่ และยังช่วยให้เห็นความก้าวหน้าจริงได้ง่ายขึ้น นั่นคืองานเดิมที่ทำสำเร็จได้ดี โดยรอน้อยลงหรือมีภาระดำเนินงานลดลง

สำหรับทีมเล็ก การตัดสินใจตอนนี้อาจเป็นการใช้ฮาร์ดแวร์เดิมต่อพร้อมปรับปรุงแอปพลิเคชัน หากการค้นคืนกินเวลาตอบส่วนใหญ่ การอนุมานที่เร็วขึ้นเพียงอย่างเดียวจะช่วยได้จำกัด หากบริการรอการสร้างคำตอบอย่างต่อเนื่องภายใต้ภาระที่จำเป็น ตัวเร่งใหม่จะเป็นผู้สมัครที่เกี่ยวข้องกับการทดลองมากขึ้น ข้อค้นพบทั้งสองช่วยนำงบไปแก้คอขวดที่กระทบผู้ใช้

เรื่องราวของฮาร์ดแวร์กำลังขยับเข้าใกล้หน่วยความจำ

ความร่วมมือ L2000 ควรค่าแก่การติดตาม เพราะเชื่อมปัญหาการอนุมานเข้ากับการออกแบบทางกายภาพและงานผลิตที่ต้องทำเพื่อแก้มัน หลักฐานที่มีประโยชน์ถัดไปคือความคืบหน้าด้านการผลิตและการรับรองซอฟต์แวร์ ตามด้วยผลวัดบนระบบที่รองรับ ผลเหล่านั้นจะบอกว่าภาระงานใดได้ประโยชน์ และผู้ดูแลต้องลงทุนอะไรเพื่อรับประโยชน์นั้น

ตอนนี้บทเรียนเชิงปฏิบัติก็มีให้ใช้แล้ว แยกความจุสำหรับโมเดล การเคลื่อนย้ายข้อมูล และผลลัพธ์แอปพลิเคชันออกจากกันเมื่อเทียบฮาร์ดแวร์ AI การใส่โมเดลลงในหน่วยความจำได้เป็นจุดเริ่มต้นของการสนทนา ส่วนบริการที่เชื่อถือได้คือผลลัพธ์ที่ผู้ซื้อต้องการ

แหล่งข้อมูล

  • Preferred Networks, PFN และ SEMIFIVE ร่วมพัฒนา MN-Core L2000 series วันที่ในประกาศ 16 พฤศจิกายน 2026 และวันที่เผยแพร่บนเว็บไซต์ 17 พฤศจิกายน 2026 มีแผนภาพโครงสร้างอย่างเป็นทางการและตารางพัฒนา
  • Preferred Networks, ประกาศภาษาญี่ปุ่น ซึ่งเป็นข่าวบริษัทฉบับที่สอดคล้องกัน
  • Shashank Verma และ Neal Vaidya, NVIDIA Technical Blog, Mastering LLM Techniques: Inference Optimization, 17 พฤศจิกายน 2023 ให้พื้นฐานเรื่องช่วงการอนุมาน การรวมแบตช์ และการใช้หน่วยความจำ ไม่ใช่ผลทดสอบฮาร์ดแวร์ MN-Core

เก็บภาระงาน การตั้งค่าโมเดล และคำตอบจากผู้ขายไว้ด้วยกัน เพื่อให้การประเมินครั้งถัดไปเริ่มจากฐานที่เปรียบเทียบกันได้ เริ่มบันทึกแรกของคุณด้วย Telli.sh


← กลับไปที่บล็อก