📏 วัดว่าตัวเลขเชื่อได้แค่ไหน

calibration วัดจากคำตอบจำนวนมาก ไม่ใช่ทีละข้อ มีเครื่องมือหลักสามอย่าง

กราฟความน่าเชื่อถือ (reliability diagram) จัดกลุ่มคำตอบตามความมั่นใจ แล้วดูว่าแต่ละกลุ่มถูกจริงเท่าไร จุดที่อยู่บนเส้นทแยงแปลว่าเชื่อได้

คะแนน Brier ค่าเฉลี่ยของระยะห่างยกกำลังสอง ระหว่างความน่าจะเป็นที่บอก $p_k$ กับสิ่งที่เกิดจริง $y_k$ (เกิด = 1 ไม่เกิด = 0)

$$\text{Brier}=\frac{1}{N}\sum _{k=1}^N(p_k-y_k{)}^2$$

log loss ลงโทษหนักมากเมื่อมั่นใจผิด เช่น บอก 99% แล้วไม่เกิด

$$\text{log loss}=-\frac{1}{N}\sum _{k=1}^N[y_k\ln p_k+(1-y_k)\ln (1-p_k)]$$

ลองดูตัวเลขของนักพยากรณ์สองคนจากบทที่ 3 อีกครั้ง

ECE ในกราฟคือค่าเฉลี่ยของ "ระยะห่างจากเส้นทแยง" ของแต่ละกลุ่ม ถ่วงตามจำนวนคำตอบในกลุ่ม

ทั้งหมดนี้ใช้ทดสอบ Jev กับข้อมูลของคุณได้ ถ้ามีข้อความที่รู้คำตอบ ก็คำนวณ Brier และวาดกราฟได้เลย

calibration วัดจากคำตอบจำนวนมาก ด้วยกราฟความน่าเชื่อถือ คะแนน Brier และ log loss ยิ่งต่ำยิ่งแปลว่าความมั่นใจตรงกับความจริง