ค่าใช้จ่าย และ prompt caching
บิลของน้องเฟิร์น: ทุกคำถามส่ง prompt 7,000 token คือ ส่วนคงที่ 6,000 + ส่วนที่เปลี่ยน ราว 1,000 (ชิ้นเอกสารจาก แร็ก (Retrieval-Augmented Generation, RAG)เทคนิคค้นเอกสารที่เกี่ยวข้องด้วย embedding แล้วแนบให้ AI อ่านก่อนตอบ เหมือนสอบแบบเปิดหนังสือดูคำศัพท์ทั้งหมด กับคำถาม) ได้คำตอบราว 300 token
ราคาสมมติต่อ 1,000,000 token: input 30 บาท output 150 บาท input ที่แคชไว้ 3 บาท
ต่อคำถาม: input 7,000 × 30 ÷ 1,000,000 = 0.21 บาท · output 300 × 150 ÷ 1,000,000 = 0.045 บาท · รวม 0.255 บาท เดือนละ 10,000 คำถามเป็น 2,550 บาท input คือ 82.4%
การแคชส่วนต้นของ prompt (prompt caching)การเก็บผลการอ่าน prompt ส่วนต้นที่ซ้ำเดิมไว้ใช้กับคำขอถัดไป ทำให้ตอบเร็วขึ้นและมักคิดราคาถูกลง ใช้ได้เมื่อส่วนต้นเหมือนเดิมทุกตัวอักษรดูคำศัพท์ทั้งหมด คือเก็บผล prefill ของส่วนคงที่ (แคชคีย์และแวลู (KV cache)ที่เก็บ key และ value ของ token ที่คำนวณแล้วในทุกชั้น จะได้ไม่ต้องคำนวณซ้ำทุกครั้งที่เขียน token ใหม่ ยิ่งข้อความยาวยิ่งใช้หน่วยความจำมากดูคำศัพท์ทั้งหมด หน้า 3) ไว้ใช้ซ้ำ ส่วนที่เปลี่ยนวางไว้ หลัง
เหลือ prefill แค่ราว 1,000 token TTFT จึงลดจาก 1.4 เหลือราว 0.2 วินาที (หน้า 2)
เมื่อแคชโดน: ส่วนคงที่ 0.018 + input ที่เหลือ 0.03 + output 0.045 = 0.093 บาท หรือ 930 บาท ต่อเดือน ลด 63.5% ถ้าให้ตอบสั้นลงเหลือ 150 token ด้วย (output 0.0225) รวม 0.0705 หรือ 705 บาท ต่อเดือน
แคชใช้ได้เมื่อส่วนต้นเหมือนเดิม ทุกตัวอักษร อยู่ได้ไม่กี่นาทีถึงหลายชั่วโมง บางเจ้าแคชให้เอง บางเจ้าต้องระบุจุดแคช
คำตอบถึงหัวหน้า: คำแรกช้าเพราะ prefill 7,000 token ทุกครั้ง คำตอบยาวช้าเพราะเขียนทีละ token แพงเพราะส่งส่วนคงที่ซ้ำ แคชกับคำตอบที่สั้นลงช่วยได้
output แพงกว่าต่อ token แต่ถ้าแนบเอกสารยาวซ้ำทุกครั้ง input มักกินเงินมากกว่า วางส่วนคงที่ไว้ต้น ส่วนที่เปลี่ยนไว้ท้าย ให้แคชช่วย
มังคุด
ใส่เวลาปัจจุบันไว้บรรทัดแรก แคชจะยังได้ผลมั้ย?