วัดผล AI กับงานของคุณเอง
พี่แนนจะเลือก prompt A หรือ B ให้คะแนนใบสมัคร?
ชุดข้อสอบมาตรฐาน (benchmark)ชุดคำถามพร้อมเฉลยที่ใช้เทียบคะแนนโมเดล บอกภาพกว้างได้ แต่ไม่ได้บอกว่าโมเดลเหมาะกับงานของคุณดูคำศัพท์ทั้งหมด คือชุดข้อสอบพร้อมเฉลยไว้เทียบโมเดล แต่ระวัง 3 เรื่อง
- ข้อสอบรั่ว (data contamination)เมื่อคำถามในชุดทดสอบหลุดเข้าไปอยู่ในข้อมูลฝึก โมเดลจึงอาจจำคำตอบได้ คะแนนเลยสูงเกินความสามารถจริงดูคำศัพท์ทั้งหมด ข้อสอบหลุดเข้าข้อมูลฝึก โมเดลอาจจำเฉลยได้ (การท่องจำ (memorization)เมื่อโมเดลจำข้อความบางท่อนจากข้อมูลฝึกได้คำต่อคำ มักเกิดกับข้อความที่ซ้ำบ่อยและในโมเดลใหญ่ และเกิดได้แม้โมเดลโดยรวมยังจับหลักได้ดีดูคำศัพท์ทั้งหมด บทที่ 4)
- ข้อสอบเก่าง่ายไป ตัวท็อปได้เกือบเต็มหมด
- ตั้งค่าต่างกัน prompt งบ token ที่ให้คิด และจำนวนครั้งที่ให้ลองไม่เท่ากัน
ทำการวัดผล (evaluation, eval)การทดสอบ AI กับชุดตัวอย่างจากงานจริงพร้อมเกณฑ์ผ่าน แล้วนับว่าผ่านกี่ข้อ ใช้เทียบ prompt หรือโมเดลก่อนใช้งานจริงดูคำศัพท์ทั้งหมดกับงานของคุณใน 4 ขั้น:
- เก็บงานจริง 20–50 ข้อ เช่น ใบสมัครที่ให้คะแนนแล้ว (ลบข้อมูลส่วนตัว)
- เขียนเกณฑ์ผ่านของแต่ละข้อ
- รันทุกข้อ 2–3 รอบ (คำตอบสุ่มได้) ให้คุณหรือ AI ตรวจ นับข้อที่ผ่าน และอ่านข้อที่พลาด
- รันซ้ำเมื่อเปลี่ยนโมเดลหรือ prompt
ผลสมมติ: A ผ่าน 17/20 (85.0%) B ผ่าน 18/20 (90.0%) ต่างกัน 1 ข้อ = 5.0 จุด
แต่ที่ 20 ข้อ ส่วนต่างนี้มีค่าแกว่งมาตรฐานราว 10.4 จุด จึงยังสรุปไม่ได้ ดูเฉพาะข้อที่ A กับ B ได้ผลต่างกันจะตรงกว่า ถ้าต่างกันข้อเดียวก็เหมือนโยนเหรียญครั้งเดียว ต้องเพิ่มข้อ
คะแนน benchmark บอกภาพกว้าง ชุดทดสอบ 20–50 ข้อจากงานจริงของคุณจับปัญหาใหญ่และจุดที่พลาดได้ แต่ถ้าสองแบบต่างกันไม่กี่ข้อ ยังสรุปไม่ได้
มังคุด
ให้ AI ตรวจงาน AI ไม่เหมือนนักเรียนตรวจการบ้านตัวเองเหรอ?