🌐 ขั้น 1: อ่านทั้งอินเทอร์เน็ต

ขั้นแรกของการสอน AI เรียกว่า การฝึกขั้นแรกการฝึกขั้นแรก (pretraining)ช่วงที่ AI อ่านข้อความจำนวนมหาศาลแล้วฝึกเดาคำที่หายไปซ้ำๆ จนเดาเก่งดูคำศัพท์ทั้งหมด✕ (pretrain)

วิธีฝึกง่ายมาก เอาข้อความจากหนังสือ เว็บ และบทความจำนวนมหาศาล ปิดคำบางคำไว้ แล้วให้ AI เดาว่าคำที่หายไปคืออะไร

เดาผิดก็ปรับตัวนิดหนึ่ง ทำซ้ำหลายล้านล้านครั้ง

ลองเป็น AI ดูบ้าง เติมคำที่หายไป 3 ข้อ

มันอ่านข้อมูลถึงแค่วันหนึ่งเท่านั้น เรียกว่า วันตัดข้อมูลวันตัดข้อมูล (knowledge cutoff)วันสุดท้ายของข้อมูลที่ AI ได้อ่านตอนฝึก เรื่องที่เกิดหลังจากนั้นมันไม่รู้ ถ้าไม่มีใครบอกดูคำศัพท์ทั้งหมด✕ (knowledge cutoff) เรื่องที่เกิดหลังจากนั้นมันไม่รู้ เว้นแต่แอปจะให้มันค้นเว็บเพิ่ม

ขั้นแรกของการฝึก AI คือให้มันเดาคำที่หายไปในข้อความมหาศาลซ้ำๆ จนเดาเก่ง แต่มันรู้แค่ถึงวันตัดข้อมูลเท่านั้น