บทที่ 8 · ต่อยอด หน้า 1/5 ~4 นาที

จับคู่ Jev กับแชทบอท

Jev ไม่ได้มาแทนแชทบอท แต่ทำงานคู่กันได้ดี รูปแบบที่ใช้บ่อย

  1. Jev คัดเรื่อง แชทบอทเขียนตอบ แบบที่เห็นในบทที่ 6
  2. แชทบอทแตกคำสั่ง Jev ตัดสินทีละข้อ เช่น คำสั่งบ้านอัจฉริยะที่มีหลายเรื่องในประโยคเดียว
  3. แชทบอทตอบ Jev ตรวจ ให้โมเดลราคาถูกตอบก่อน แล้วให้ Jev ดูว่าคำตอบตรงคำถามและตรงข้อมูลไหม ถ้า Jev ไม่แน่ใจ จึงส่งต่อให้โมเดลแพงหรือคน

แบบที่สามเรียกว่าส่งต่อเป็นทอด (cascade) OpenRouter มีตัวอย่างแนวนี้ในคู่มือ ลองตั้งเกณฑ์ดู

แบ่งงาน 3 เลน: คำขอลูกค้า 16 รายการ

เลื่อนเกณฑ์สองตัว แล้วดูว่าแต่ละเลนได้กี่รายการ และมีกี่รายการที่ทำเองแล้วผิด

  • ใช้คำตอบของโมเดลถูก 2 รายการ · ผิด 0
  • ให้โมเดลแพงตอบใหม่ 8 รายการ
  • ส่งให้คนดู 6 รายการ

ภารกิจ: ใช้คำตอบของโมเดลถูกอย่างน้อยครึ่งหนึ่ง และหลุดคำตอบที่ผิดไม่เกิน 1 ข้อ

✕ = คำตอบที่ผิด (รู้จากข้อมูลที่มีเฉลย) · แต่ละจุดเรียงจากมั่นใจมากไปน้อย

จำนวนรายการในแต่ละเลน
เลนจำนวนในนั้นผิด
ใช้คำตอบของโมเดลถูก20
ให้โมเดลแพงตอบใหม่8—
ส่งให้คนดู6—

ยิ่งยอมให้โมเดลถูกตอบได้มาก ยิ่งประหยัด แต่ต้องยอมรับความเสี่ยงที่คำตอบผิดจะหลุดไป ตัวเลขความมั่นใจที่เชื่อได้ของ Jev คือสิ่งที่ทำให้หาจุดสมดุลนี้ได้

Jev กับแชทบอทเก่งคนละอย่าง ให้ Jev คัดเรื่องและตรวจคำตอบ ส่วนแชทบอทเขียนและแตกคำสั่ง แล้วใช้ความมั่นใจตัดสินว่าจะส่งต่อเมื่อไร

มังคุด มาสคอตมังคุด

มังคุด

ถ้าให้ Jev ตรวจคำตอบของแชทบอท Jev ต้องรู้เฉลยด้วยไหมครับ?