ถามหลายรอบแล้วโหวต · AI ข้างในทำงานยังไง

อีกวิธีเพิ่ม การคำนวณตอนใช้งาน (test-time compute)แรงคำนวณที่ใช้ตอนโมเดลตอบ ไม่ใช่ตอนฝึก เพิ่มได้โดยให้คิดยาวขึ้นหรือตอบหลายรอบแล้วเลือกดูคำศัพท์ทั้งหมด คือถามโจทย์เดิมหลายรอบที่ อุณหภูมิ (temperature)ปุ่มปรับความ "กล้า" ของการสุ่ม ค่าต่ำทำให้เลือกคำที่มั่นใจซ้ำๆ ค่าสูงทำให้คำแปลกๆ มีโอกาสมากขึ้นดูคำศัพท์ทั้งหมด มากกว่า 0 (บทที่ 1) แต่ละรอบจึงการสุ่มเลือกคำ (sampling)การจับฉลากเลือกคำถัดไปตามความน่าจะเป็น คำที่โอกาสสูงถูกเลือกบ่อยกว่า แต่ไม่ใช่ทุกครั้งดูคำศัพท์ทั้งหมดเส้นทางคิดต่างกัน แล้วเลือกคำตอบที่ออกบ่อยที่สุด

วิธีนี้เรียกว่า การโหวตหลายคำตอบ (self-consistency, majority voting)ถามโจทย์เดิมหลายรอบโดยสุ่มคำตอบต่างกัน แล้วเลือกคำตอบที่ออกมาบ่อยที่สุด ช่วยได้เมื่อคำตอบที่ถูกออกบ่อยกว่าคำตอบผิดแต่ละแบบดูคำศัพท์ทั้งหมด (Wang et al. 2022) ใช้กับคำตอบสั้นที่เทียบกันได้ เช่น ตัวเลขหรือตัวเลือก

ถามหลายรอบแล้วเลือกเสียงข้างมาก = ซื้อความแม่นด้วย token เพิ่ม โดยไม่ต้องเปลี่ยนโมเดล

ถาม AI โจทย์เดิม 3 ครั้ง ครั้งละถูก 70% (

p = 0.7

) และไม่เกี่ยวกัน ถ้าเลือกเสียงข้างมาก (ถูกอย่างน้อย 2 ใน 3) โอกาสได้คำตอบถูกกี่ %?

คำตอบของคุณ

คำใบ้ (3)

มี 2 กรณี: ถูกครบ 3 หรือถูก 2 ผิด 1
ถูกครบ 3: $0. 7^{3} = 0.343$ · ถูก-ถูก-ผิด (ลำดับนี้ลำดับเดียว): $0.7 \times 0.7 \times 0.3 = 0.147$
"ถูก 2 ผิด 1" เรียงได้ 3 แบบ คูณ 3 แล้วบวกกรณีถูกครบ

ดูเฉลย

คำตอบ: 78.4%

$0.343 + 3 \times 0.147 = 0.784$ → 78.4%

ถามครั้งเดียว 70.0% · โหวต 5 ครั้ง 83.7% · 9 ครั้ง 90.1% ยิ่งเพิ่มรอบ ส่วนที่ได้เพิ่มยิ่งน้อยลง แต่จ่าย token ตามจำนวนรอบ ถ้า $p = 0.4$ โหวต 3 ครั้งเหลือ 35.2%

ในโจทย์ที่มีแค่ถูกกับผิด โหวตช่วยเมื่อแต่ละรอบถูกบ่อยกว่าผิด ถ้าส่วนใหญ่ผิด โหวตยิ่งย้ำคำตอบผิด

ถ้าคำตอบผิดกระจายหลายค่า โหวตช่วยได้แม้ p < 0.5 ขอแค่คำตอบถูกออกบ่อยสุด

มังคุด

ถ้าโหวต 100 ครั้ง ก็ถูกเกือบ 100% เลยสิ?

ชอบหน้านี้? แชร์ให้เพื่อนร่วมงาน