0 XP Curious

บทที่ 4 · AI เรียนรู้ยังไง หน้า 13/13 ~3 นาที

แบบทดสอบบทที่ 4

5 ข้อ ถูก 4 ข้อขึ้นไปถือว่าผ่าน ทำใหม่ได้ไม่จำกัด

แบบทดสอบ 5 ข้อ

ผ่านเมื่อได้ 80% ขึ้นไป · ทำซ้ำได้

ข้อ 1ตอบเป็นตัวเลขถ้าโมเดลให้โอกาสคำเฉลยเพียง 25% ค่า loss (cross-entropy) ของข้อนั้นเท่ากับเท่าไร? (ทศนิยม 2 ตำแหน่ง)
ดูเฉลยข้อนี้

คำตอบ: 1.39

เท่ากับการเดาสุ่มจาก 4 ทาง (perplexity = 4)
ข้อ 2เลือกตอบถ้าตั้ง learning rate ใหญ่เกินไป จะเกิดอะไรขึ้น?
ดูเฉลยข้อนี้

คำตอบ: ก้าวเลยก้นชามไปมา และ loss อาจพุ่งขึ้นแทนที่จะลด

ในชามชาไทย η = 1.1 ทำให้ w แกว่ง 0 → 6.6 → −1.32 → 8.184 และ loss โต 9 → 12.96 → 18.6624
ข้อ 3เลือกตอบbackpropagation ช่วยการฝึกตรงไหน?
ดูเฉลยข้อนี้

คำตอบ: หาความชันของพารามิเตอร์ทุกตัวในการย้อนกลับรอบเดียว

backprop คูณความชันทีละชั้นย้อนจาก loss ด้วยกฎลูกโซ่ ได้ gradient ครบทุกตัวในรอบเดียว การลองทีละตัวต้องทำเป็นพันล้านรอบ
ข้อ 4เลือกตอบข้อไหนตรงกับ scaling laws?
ดูเฉลยข้อนี้

คำตอบ: ขยาย 10 เท่าแต่ละครั้งได้ผลน้อยลง และ loss มีพื้น

ในตารางของเล่น 1B → 10B loss ลด 0.5 แต่ 10B → 100B ลดแค่ 0.25 ส่วน 20 token ต่อพารามิเตอร์เป็นกฎคร่าวๆ ให้งบฝึกคุ้มที่สุด ไม่ได้ทำให้ loss เป็น 0
ข้อ 5ถูกหรือผิดพิมพ์แก้คำตอบที่ผิดในแชต โมเดลจะจำไว้และไม่ตอบผิดอีกเมื่อเปิดแชตใหม่
ดูเฉลยข้อนี้

คำตอบ: ผิด

ผิด การแก้อยู่แค่ใน context window ของแชตนั้น พารามิเตอร์ไม่ได้เปลี่ยน (เว้นแต่แอปจะจดบันทึกแล้วแนบให้เอง)
มังคุด มาสคอตมังคุด

มังคุด

หนูขอเดาแบบลด loss นะ! ผิดก็ได้ gradient ไปปรับใหม่ใช่มั้ย?

ทำแบบทดสอบด้านบนให้ผ่าน แล้วบทนี้จะนับว่าจบ

ดาวน์โหลดสรุปสูตร PDF 2 หน้า

สูตรสำคัญจากทุกบทของคอร์สในหน้าเดียว ไว้เปิดดูตอนใช้ AI ทำงานจริง ฟรี ไม่ต้องสมัคร

ดาวน์โหลด PDF

ไปบทที่ 5 ต่อเลย