✂️ ดู AI หั่นข้อความเป็นโทเคน

ลองพิมพ์ประโยคของคุณเอง ลงในกล่อง หรือกดปุ่มตัวอย่างก็ได้ แต่ละสีคือ 1 โทเคนโทเคน (token)ชิ้นข้อความเล็กๆ ที่ AI อ่านและเขียนทีละชิ้น อาจเป็นทั้งคำ ครึ่งคำ หรือตัวอักษรเดียวดูคำศัพท์ทั้งหมด✕ ตัวนับด้านบนบอกว่ารวมกี่ชิ้น

ลองกดเทียบเป็นคู่ เช่น "สวัสดี" กับ "Hello" แล้ว "ไปกินส้มตำกัน" กับ "Let's eat som tam"

สังเกตว่าคำอังกฤษที่เจอบ่อยมักเป็นชิ้นเดียวทั้งคำ ส่วนภาษาไทยมักถูกแบ่งเป็นหลายชิ้น

ประโยคสั้นมากๆ บางคู่อาจได้จำนวนใกล้กัน หรือไทยน้อยกว่าก็มี แต่ถ้าดูประโยคยาวในกล่องเปรียบเทียบด้านล่างของเครื่องมือ จะเห็นว่าไทยใช้ชิ้นมากกว่าชัดเจน

AI หั่นทุกข้อความเป็นโทเคน และข้อความไทยยาวๆ มักถูกหั่นเป็นจำนวนชิ้นมากกว่าภาษาอังกฤษที่ความหมายเท่ากัน