เกม "คุณมั่นใจเกินจริงไหม"
ลองเป็น Jev ดูสักรอบ ตอบ 10 ข้อว่าจริงหรือไม่จริง แล้วบอกด้วยว่ามั่นใจแค่ไหนว่าตอบถูก
ถ้าเดาล้วนๆ ให้ตอบ 50% ถ้าแน่ใจสุดๆ ให้ตอบ 100%
ดูผลที่จุดบนกราฟ ถ้าจุดอยู่ใต้เส้นทแยง แปลว่าบอกว่ามั่นใจมากกว่าที่ถูกจริง
คะแนน Brier คือค่าเฉลี่ยของ "ระยะห่างระหว่างความมั่นใจกับความจริง" ยกกำลังสอง ยิ่งต่ำยิ่งดี บทที่ 7 จะแกะสูตรนี้
สิ่งที่ Jev ถูกฝึกมา คือทำให้จุดพวกนี้อยู่ใกล้เส้นทแยงที่สุด ในคำถามจำนวนมหาศาล
ความมั่นใจที่ดีไม่ได้แปลว่ามั่นใจสูง แต่แปลว่ามั่นใจเท่ากับที่ถูกจริง ทั้งคนและ AI ฝึกให้ตัวเลขนี้แม่นขึ้นได้

มังคุด
ผมตอบถูกเยอะ แต่จุดอยู่ใต้เส้น แปลว่ามั่นใจเกินจริงใช่ไหมครับ?