เร็วระดับเสี้ยววินาที
TypeSafe บอกว่าคำถามส่วนใหญ่ได้คำตอบในราว 100 มิลลิวินาที หรือประมาณหนึ่งในสิบวินาที ตอนเปิดตัวบอกไว้เป็นช่วง 70–500 มิลลิวินาที
เทียบกับโมเดลภาษาขนาดใหญ่ ที่ TypeSafe วัดว่าใช้เวลาตอบตั้งแต่ 3–329 วินาที
ทำไมเร็วกว่ามาก มีเหตุผลหลักสองข้อ
- ไม่ต้องเขียน แชทบอทสร้างคำตอบทีละ token ยิ่งตอบยาวยิ่งนาน ส่วน Jev แค่ให้คะแนนตัวเลือกที่มีอยู่แล้ว
- ตอบทุกคำถามพร้อมกัน สิบคำถามในครั้งเดียวใช้เวลาแทบเท่ากับคำถามเดียว
ความเร็วระดับนี้เปิดงานที่แชทบอทช้าเกินไปจะทำ เช่น ปุ่มบนหน้าเว็บที่ตอบสนองทันที หรือเกม TypeSafe มีเดโมให้ Jev เล่นเกม Doom โดยถามราว 10 ครั้งต่อวินาที
ตัวเลขเหล่านี้มาจาก TypeSafe เอง เวลาจริงขึ้นกับระยะทางถึงเซิร์ฟเวอร์และความยาวข้อความด้วย บทที่ 8 จะดูผลทดสอบจากภายนอก
Jev เร็วเพราะไม่ต้องเขียนข้อความทีละคำ และตอบทุกคำถามพร้อมกันในครั้งเดียว จึงแทรกอยู่กลางโปรแกรมได้โดยไม่ทำให้ช้า
มังคุด
ถ้าอยู่เมืองไทย จะช้ากว่าที่เขาบอกไหมครับ?