🏎️ ทำไมไม่ต้องเขียนถึงเร็วกว่ามาก

แชทบอทสร้างคำตอบทีละ token แต่ละ token ต้องคำนวณทั้งโมเดลหนึ่งรอบ และต้องรอ token ก่อนหน้าเสร็จก่อน ถ้าคำตอบยาว $k$ token ก็ต้องรอ $k$ รอบต่อกัน

ถามแชทบอท $n$ คำถามแบบแยกกัน ยิ่งต้องรอ $n$ ชุดต่อกันอีก

TypeSafe บอกว่า Jev สร้างคำตอบทั้งหมดในการเรียกครั้งเดียว ไม่ต้องเขียนข้อความ และประเมินทุกคำถามพร้อมกัน

	แชทบอท	Jev
ตอบคำถามเดียว	รอทีละ token จนครบคำตอบ	ประเมินตัวเลือกครั้งเดียว
ตอบ 10 คำถาม	10 เท่า ถ้าถามแยก	แทบเท่ากับคำถามเดียว
ค่าใช้จ่ายขาออก	คิดตามจำนวน token ที่เขียน	ไม่คิด

ภาษาไทยมักใช้ token มากกว่าอังกฤษสำหรับข้อความเท่ากัน ตัวอย่างในคอร์สนี้ ฉบับไทยใช้ token ราว 1.4 เท่าของฉบับอังกฤษ แชทบอทที่ตอบเป็นภาษาไทยจึงยิ่งช้าลง ส่วน Jev ไม่ต้องเขียนคำตอบเลย ข้อเสียนี้จึงหายไปฝั่งขาออก เหลือแค่ฝั่งขาเข้าที่แพงขึ้นตามจำนวน token

แชทบอทต้องเขียนคำตอบทีละ token ต่อกัน ส่วน Jev ประเมินตัวเลือกและทุกคำถามในการเรียกครั้งเดียว เวลาและค่าใช้จ่ายจึงต่ำกว่ามาก