บทที่ 3 · ความมั่นใจ หน้า 3/7 ~3 นาที

ตัวเลขที่เชื่อได้ (calibration)

ถ้านักพยากรณ์อากาศบอกว่า "โอกาสฝนตก 70%" มาร้อยวัน แล้วฝนตกจริงราว 70 วัน ตัวเลขของเขาเชื่อได้

คุณสมบัตินี้เรียกว่า calibration แปลง่ายๆ ว่าตัวเลขความมั่นใจตรงกับความจริง

ลองเทียบนักพยากรณ์สองคน

นักพยากรณ์คนไหนเชื่อได้

สลับดูทั้งสองคน จุดที่อยู่บนเส้นทแยงแปลว่าพูดตรงกับที่เกิดจริง

0%50%100%0%50%100%ที่บอกว่ามั่นใจที่ถูกจริง
  • บอกว่าฝนตก 10% ทั้งหมด 10 วัน · ตกจริง 1 วัน
  • บอกว่าฝนตก 30% ทั้งหมด 10 วัน · ตกจริง 3 วัน
  • บอกว่าฝนตก 50% ทั้งหมด 10 วัน · ตกจริง 5 วัน
  • บอกว่าฝนตก 70% ทั้งหมด 10 วัน · ตกจริง 7 วัน
  • บอกว่าฝนตก 90% ทั้งหมด 10 วัน · ตกจริง 9 วัน

คะแนน Brier 0.170 · ความคลาดเคลื่อนเฉลี่ย (ECE) 0.000 · ยิ่งต่ำยิ่งเชื่อได้

นักพยากรณ์ที่ตัวเลขเชื่อได้: บอกไว้เทียบกับที่เกิดจริง
ช่วงจำนวนวันบอกไว้เฉลี่ยตกจริง
10%–20%1010.0%10.0%
20%–30%1030.0%30.0%
50%–60%1050.0%50.0%
60%–70%1070.0%70.0%
90%–100%1090.0%90.0%

คนที่สองบอก 90% บ่อยมาก แต่ฝนตกจริงแค่ราว 6 ใน 10 ครั้ง ตัวเลขของเขาฟังดูมั่นใจ แต่เอาไปตัดสินใจไม่ได้

calibration ไม่ได้แปลว่าตอบถูกทุกครั้ง นักพยากรณ์ที่ดีก็ยังพลาดในวันที่บอก 70% ราว 3 ใน 10 ครั้ง แต่เรารู้ล่วงหน้าว่าจะพลาดประมาณเท่าไร

TypeSafe ฝึก Jev ให้ตัวเลขเชื่อได้แบบคนแรก โดยวัดจากคำตอบจำนวนมาก ไม่ใช่ทีละข้อ

calibration คือตัวเลขความมั่นใจที่ตรงกับความจริงเมื่อดูหลายๆ ครั้ง บอกว่า 70% ก็ถูกจริงราว 70% ไม่ได้แปลว่าตอบถูกทุกข้อ

มังคุด มาสคอตมังคุด

มังคุด

แล้วคนเราล่ะครับ ตัวเลขความมั่นใจของเราเชื่อได้ไหม?