🏋️ ฝึกมาต่างกัน: RLHF, RLVR และ RLCD

โมเดลภาษาเริ่มจากการอ่านข้อความมหาศาล จากนั้นจะถูกฝึกต่อด้วยการให้รางวัล ว่าตอบแบบไหนดี ผลที่ได้ขึ้นกับว่าให้รางวัลกับอะไร

วิธีฝึก	ให้รางวัลเมื่อ	ได้ออกมาเป็น
RLHF	คนชอบคำตอบ	แชทบอทที่คุยเก่ง
RLVR	ตรวจได้ว่าคำตอบถูก เช่น โจทย์คณิต	โมเดลที่คิดหลายขั้น
RLCD	ความน่าจะเป็นตรงกับความจริง	Jev

RLHF ย่อมาจาก reinforcement learning from human feedback คือฝึกจากความชอบของคน TypeSafe มองว่าวิธีนี้ทำให้โมเดลชอบพูดสิ่งที่คนอยากฟัง บางทีก็มั่นใจเกินจริง และคำตอบหลากหลายน้อยลง

RLVR คือให้รางวัลเมื่อตรวจได้ว่าถูก เหมาะกับงานที่มีเฉลยชัด แต่ใช้เวลาคิดนานและแพง

RLCD คือวิธีที่ TypeSafe ใช้ฝึก Jev ให้รางวัลเมื่อความน่าจะเป็นที่บอกออกมาตรงกับสิ่งที่เกิดจริง ไม่ใช่เมื่อคนฟังแล้วชอบ ผลคือตัวเลขความมั่นใจที่เชื่อได้อย่างที่เห็นในบทที่ 3

TypeSafe ยังไม่ได้เปิดเผยรายละเอียดทั้งหมดของ RLCD บางคนจึงยังตั้งข้อสงสัย บทที่ 7 จะดูคณิตพื้นฐานว่า ทำไมการให้รางวัลแบบที่ถูกต้องทำให้การพูดตามจริงคุ้มที่สุด

สิ่งที่โมเดลเก่งขึ้นกับว่าฝึกให้รางวัลกับอะไร แชทบอทได้รางวัลเมื่อคนชอบ ส่วน Jev ได้รางวัลเมื่อความน่าจะเป็นตรงกับความจริง