คะแนนบน model card บอกได้ว่าโมเดลเก่งเพียงใดภายใต้สภาพทดสอบหนึ่ง แต่ไม่ได้ตอบว่าเมื่อลดความละเอียดน้ำหนักแล้วนำไปรันบนโทรศัพท์หรือโน้ตบุ๊ก ผู้ใช้จะรอนานแค่ไหน เครื่องจะกินหน่วยความจำเท่าไร และคุณภาพจะตกลงมากน้อยเพียงใด Liquid AI จึงเปิดซอร์ส Pipette ชุด benchmark ที่ถือว่า “ระบบใช้งานจริง” คือผลรวมของโมเดล วิธี quantization, runtime และอุปกรณ์ ไม่ใช่ดูชื่อโมเดลแยกเดี่ยว
โครงการนี้พัฒนาร่วมกับ Artificial Analysis ซึ่งทำหน้าที่ตรวจสอบวิธีวัดอย่างอิสระ ชุดข้อมูลเปิดตัวครอบคลุมตัวชี้วัดประสิทธิภาพบนอุปกรณ์ 5 รายการ มากกว่า 1,000 configurations จากโมเดลมากกว่า 30 รุ่น มี runtime ตระกูล llama.cpp บน macOS, iOS, Windows และ Android และทดสอบความยาว context ตั้งแต่ 256 ถึง 8,192 tokens
หน่วยเปรียบเทียบไม่ใช่ชื่อโมเดล แต่คือทั้งชุดระบบ
แนวคิดสำคัญของ Pipette เขียนได้เป็นสมการง่าย ๆ: โมเดล + quantization + runtime + device จากนั้นจึงกำหนด metric และรูปแบบจำนวน token เพื่อวัด latency, throughput หรือหน่วยความจำ วิธีนี้ช่วยป้องกันการสรุปกว้างเกินไปว่าโมเดลหนึ่ง “เร็ว” เพราะโมเดลเดียวกันอาจมีผลต่างกันมากเมื่อเปลี่ยนโทรศัพท์ รูปแบบบีบอัด หรือ context
ตัวอย่างจากข้อมูลเปิดตัวแสดงว่า โมเดลขนาด 350M สองรุ่นที่ใช้ quantization เดียวกันบนโทรศัพท์เครื่องเดียวกัน เมื่อเพิ่ม context เป็น 4,096 tokens รุ่นหนึ่งรักษา throughput ตอน decode ได้ 78.4% แต่อีกรุ่นเหลือเพียง 33.8% ความจุพารามิเตอร์ใกล้กันจึงไม่ได้รับประกันพฤติกรรมเมื่อบทสนทนายาวขึ้น
ผลชุดแรกที่ผ่านการตรวจสอบมาจาก MacBook Pro ชิป M5 Max, iPhone 17 Pro および Galaxy S26 Ultra ส่วน AMD Ryzen AI Max+ 395 กับ Radeon 8060S ถูกระบุว่าจะตามมา เครื่องมือปล่อยภายใต้สัญญาอนุญาต Apache 2.0 แยกเป็น pipette-mgmt, pipette-clients および pipette-scores พร้อมชุดข้อมูลสาธารณะ dashboard และแอป benchmark บน iOS กับ Android ผู้ใช้จึงตรวจผลหรือทดสอบฮาร์ดแวร์ของตัวเองได้โดยไม่ต้องลงทะเบียนรอ
ทำซ้ำผลได้เพราะบันทึกบริบทการทดสอบ
Pipette กำหนดรูปทรง token ตายตัว ใช้ greedy decoding ทิ้งรอบ warm-up แล้ววัดซ้ำ 5 รอบ ก่อนแต่ละรอบ ระบบจะตรวจสภาพความร้อนและภาระของอุปกรณ์ตามแพลตฟอร์ม หากไม่ผ่านเกณฑ์ readiness จะไม่นำผลขึ้นเผยแพร่ ทุก submission บันทึกเวอร์ชัน benchmark, token shape, model artifact, quantization, เวอร์ชันและการตั้งค่า runtime ตลอดจนฮาร์ดแวร์ ระบบปฏิบัติการ และเงื่อนไขของเครื่อง
คุณภาพถูกวัดแยกจากความเร็ว ผ่าน IFBench, GPQA Diamond และ MATH-500 โดย protocol ให้คะแนนแบบกำหนดผลซ้ำได้และไม่เปิดเผยที่มาของโมเดลแก่ระบบให้คะแนน ประเด็นที่ต้องอ่านให้ละเอียดคือคะแนนคุณภาพปัจจุบันมาจากการประเมินด้วย llama.cpp บนเครื่องอ้างอิง NVIDIA H100 80GB แล้วนำไปจับคู่กับผลความเร็วบนอุปกรณ์ที่ใช้โมเดลและ quantization เดียวกัน ดังนั้นคะแนนคุณภาพที่วางข้างกราฟโทรศัพท์ไม่ได้ถูกสร้างบนโทรศัพท์เครื่องนั้น
Benchmark ช่วยคัดตัวเลือก แต่ยังไม่ใช่คำตอบสุดท้าย
ข้อควรระวัง: ผลของ Pipette เหมาะกับการเทียบ configuration ภายในสภาพอุปกรณ์เดียวกันมากที่สุด เพราะ Android และ iOS ใช้เส้นทางการประมวลผล การรองรับ flash attention จำนวน thread และ accelerator ต่างกัน การนำตัวเลขข้ามแพลตฟอร์มมาเทียบตรง ๆ อาจทำให้เลือกฮาร์ดแวร์ผิด
ชุดประเมินคุณภาพสามรายการยังไม่ครอบคลุมทุกงาน เช่น agent, งานที่อาศัยความรู้เฉพาะ และงาน multimodal อีกทั้งการเผยแพร่ผลจากชุมชนยังอยู่ในช่วง beta ผลที่มีอยู่จึงไม่ได้แทน workload ขององค์กร ผู้พัฒนาควรใช้ Pipette เป็นจุดเริ่มต้นในการจำกัดตัวเลือก แล้วทดสอบ prompt ภาษาไทย ปริมาณ context และอุณหภูมิเครื่องในสภาพใช้งานจริงซ้ำอีกครั้ง
ความหมายต่อผู้ประกอบการ/ผู้ใช้งานไทย
ส่วนนี้เป็นความเห็นของสมาคมโดรนไทย: Pipette มีประโยชน์ต่อคนไทยที่กำลังถามว่า “ต้องซื้อ GPU หรือเครื่องใหม่แค่ไหนจึงรัน AI ในเครื่องได้” เพราะช่วยเปลี่ยนการเลือกจากการดูจำนวนพารามิเตอร์หรือกระแสรีวิว มาเป็นการเปรียบเทียบทั้งโมเดล quantization runtime และฮาร์ดแวร์ ทีมพัฒนาแอปภาคสนามจึงอาจพบว่าโมเดลเล็กที่เลือกถูก configuration ให้ประสบการณ์ดีกว่าการซื้อเครื่องแรงแล้วใช้ runtime ที่ไม่เหมาะ
สำหรับองค์กรที่ต้องการลดการส่งข้อมูลขึ้นคลาวด์ต่างประเทศ การวัด latency และหน่วยความจำบนอุปกรณ์จริงช่วยบอกได้ว่างานใดควรอยู่บนโทรศัพท์ โน้ตบุ๊ก หรือ AI server ภายใน ส่วนงานใดหนักเกินไปและควรใช้คลาวด์ การตัดสินใจนี้เกี่ยวข้องโดยตรงกับราคา GPU/eGPU ค่าไฟ และจำนวนเครื่องที่จะกระจายให้พนักงาน
ในมุมต้นทุนนำเข้า benchmark ที่ทำซ้ำได้ช่วยลดความเสี่ยงซื้อฮาร์ดแวร์เกินความจำเป็น ผู้ซื้อควรบันทึกผลจากเครื่องตัวอย่างก่อนสั่งหลายเครื่อง รวมค่า RAM หรือ VRAM ที่ต้องเผื่อเมื่อ context โต และทดสอบในอุณหภูมิใช้งานจริงของไทยด้วย เพราะผลจากห้องควบคุมอาจไม่สะท้อนโทรศัพท์หรือคอมพิวเตอร์ที่ทำงานกลางแจ้ง การมีข้อมูลของเครื่องที่ขายในไทยมากขึ้นจะทำให้การคำนวณต้นทุนต่อคำตอบแม่นกว่าการอ้างตัวเลขจากรุ่นเรือธงเพียงไม่กี่รุ่น