🏅 ทำไมการพูดตามจริงถึงคุ้มที่สุด

สมมติคุณรู้ว่าโอกาสฝนตกจริงคือ $q$ แล้วต้องเลือกตัวเลข $r$ ที่จะบอก ถ้าถูกหักคะแนนตาม Brier ค่าปรับเฉลี่ยคือ

$$E(r)=q(1-r{)}^2+(1-q)r^2$$

หาจุดต่ำสุดด้วยการตั้งอนุพันธ์เป็นศูนย์

$$E^{\prime }(r)=-2q(1-r)+2(1-q)r=0\Rightarrow r=q$$

แปลว่าตัวเลขที่ทำให้ค่าปรับเฉลี่ยต่ำที่สุด คือโอกาสจริงพอดี กติกาที่มีคุณสมบัตินี้เรียกว่ากติกาการให้คะแนนที่ซื่อตรง (proper scoring rule) log loss ก็เป็นแบบนี้

แต่ไม่ใช่ทุกกติกา ถ้าหักตาม "ผิดเท่าไรหักเท่านั้น" ค่าปรับเฉลี่ยจะต่ำสุดเมื่อบอกสุดขั้ว 0 หรือ 1 คนที่ถูกวัดแบบนี้จึงถูกบีบให้พูดเกินจริง ลองหาจุดต่ำสุดของทั้งสามกติกา

นี่คือหลักคณิตที่อยู่เบื้องหลังแนวคิดฝึกให้ตัดสินใจอย่างซื่อตรง ถ้าให้รางวัลด้วยกติกาที่ซื่อตรง การบอกความน่าจะเป็นตามจริงจะเป็นทางที่ดีที่สุด TypeSafe ยังไม่ได้เปิดเผยว่า RLCD ใช้สูตรใด หน้านี้จึงเป็นหลักการทั่วไป

กติกาการให้คะแนนที่ซื่อตรงทำให้การบอกความน่าจะเป็นตามที่เชื่อจริงได้ค่าปรับเฉลี่ยต่ำที่สุด ถ้าฝึก AI ด้วยกติกาแบบนี้ ความซื่อตรงจะเป็นทางที่คุ้มที่สุด