Agent: วนลูปจนงานเสร็จ
เอเจนต์ (AI agent)ระบบที่ให้ LLM วนลูป คิด → เรียกเครื่องมือ → ดูผล ซ้ำหลายรอบจนงานเสร็จ โดยโมเดลเลือกขั้นถัดไปเองดูคำศัพท์ทั้งหมด คือ การเรียกใช้เครื่องมือ (tool calling, function calling)โมเดลเขียนคำขอแบบมีโครงสร้าง มักเป็น JSON แล้วโปรแกรมของแอปเป็นคนเรียกเครื่องมือจริงและนำผลกลับมาต่อท้าย contextดูคำศัพท์ทั้งหมด ที่วนเป็นลูป แต่ละรอบโมเดลอ่าน context ทั้งหมดแล้วเลือกขั้นถัดไปเอง จนเขียนคำตอบสุดท้ายแทนคำขอ หรือครบรอบที่แอปกำหนด
ทุกผลจากเครื่องมือถูกต่อท้าย หน้าต่างบริบท (context window)จำนวน token สูงสุดที่โมเดลมองเห็นได้ในครั้งเดียว นับรวมทั้งคำสั่งและคำตอบดูคำศัพท์ทั้งหมด งานยาวจึงช้าลงและแพงขึ้น (บทที่ 2 และ 6) แอปจึงมักใช้ การแคชส่วนต้นของ prompt (prompt caching)การเก็บผลการอ่าน prompt ส่วนต้นที่ซ้ำเดิมไว้ใช้กับคำขอถัดไป ทำให้ตอบเร็วขึ้นและมักคิดราคาถูกลง ใช้ได้เมื่อส่วนต้นเหมือนเดิมทุกตัวอักษรดูคำศัพท์ทั้งหมด กับส่วนต้นที่ไม่เปลี่ยน และย่อสรุปของเก่า
กับดักคือความผิดพลาดสะสม ถ้าแต่ละขั้นถูกด้วยโอกาส p และไม่เกี่ยวกัน โอกาสถูกครบ n ขั้นคือ
ขั้นละ 95% ทำ 10 ขั้นสำเร็จ 59.9% ทำ 20 ขั้นเหลือ 35.8%
ถ้ามีจุดตรวจ (ชุดทดสอบ หรือคน) ที่จับผิดได้ 90% แล้วให้แก้ 1 ครั้ง แต่ละขั้นถูกราว 99.3% งาน 10 ขั้นสำเร็จ 93.0%
ลองดูว่าแถบไหนไปได้ไกลกว่า
ไม่มีจุดตรวจ ทำได้แค่ 2 ขั้นก่อนต่ำกว่า 90% (3 ขั้นเหลือ 85.7%) มีจุดตรวจได้ถึง 14 ขั้น (90.3%)
งานหลายขั้นพังแบบทวีคูณ ขั้นละ 95% ทำ 10 ขั้นสำเร็จแค่ 59.9% จุดตรวจที่จับผิดแล้วให้แก้ ดึงกลับเป็น 93.0%
มังคุด
ถ้ามันบอกว่า "เสร็จแล้ว" เราเชื่อได้เลยไหม?