0 XP Curious

บทที่ 6 · ตอนมันตอบจริง หน้า 12/12 ~3 นาที

แบบทดสอบบทที่ 6

ผ่าน 4 จาก 5 ข้อรับ 20 XP ทำซ้ำได้ ใช้เครื่องคิดเลขได้ (ตอบตัวเลขล้วน ไม่ใส่จุลภาคหรือหน่วย)

แบบทดสอบ 5 ข้อ

ผ่านเมื่อได้ 80% ขึ้นไป · ทำซ้ำได้

ข้อ 1ตอบเป็นตัวเลขโมเดลสมมติ 8B น้ำหนัก 4 บิต KV cache 16 บิต (131,072 byte ต่อ token) คนเดียวคุย 128,000 token บวกค่าเผื่อ 1 GB ใช้หน่วยความจำกี่ GB?
ดูเฉลยข้อนี้

คำตอบ: 21.8 GB

น้ำหนัก 4.0 GB + KV cache 131,072 × 128,000 = 16.8 GB + อื่นๆ 1.0 GB = 21.8 GB ลงการ์ด 24 GB ได้
ข้อ 2ตอบเป็นตัวเลขราคาสมมติต่อ 1,000,000 token: input 30 output 150 บาท คำขอละ input 2,000 output 500 token เรียก 1,000 ครั้ง รวมกี่บาท?
ดูเฉลยข้อนี้

คำตอบ: 135 บาท

ต่อครั้ง 0.06 + 0.075 = 0.135 บาท × 1,000 = 135 บาท
ข้อ 3เลือกตอบทำไม decode ช้ากว่า prefill ต่อ token?
ดูเฉลยข้อนี้

คำตอบ: token ใหม่ต้องรอ token ก่อนหน้า จึงต้องรันทีละรอบ

prompt ทำพร้อมกันได้ แต่คำตอบต้องทีละ token และทุกก้าวต้องอ่านน้ำหนักทั้งโมเดล
ข้อ 4ถูกหรือผิดMoE รวม 34B ใช้จริง 10B กินหน่วยความจำพอๆ กับโมเดล 10B ทั่วไป
ดูเฉลยข้อนี้

คำตอบ: ผิด

ต้องโหลดทุกชุด เพราะ token ไหนก็อาจเลือกชุดไหนก็ได้ ที่ 16 บิตจึงใช้ 68.0 GB
ข้อ 5เลือกตอบอยากให้ prompt caching ลดค่าใช้จ่ายมากที่สุด ควรจัดยังไง?
ดูเฉลยข้อนี้

คำตอบ: ส่วนที่เหมือนเดิมทุกครั้งไว้ต้น ส่วนที่เปลี่ยนไว้ท้าย

แคชจับคู่จากต้น บรรทัดแรกเปลี่ยน ที่เหลือแคชไม่ได้

ทำแบบทดสอบด้านบนให้ผ่าน แล้วบทนี้จะนับว่าจบ

ดาวน์โหลดสรุปสูตร PDF 2 หน้า

สูตรสำคัญจากทุกบทของคอร์สในหน้าเดียว ไว้เปิดดูตอนใช้ AI ทำงานจริง ฟรี ไม่ต้องสมัคร

ดาวน์โหลด PDF

ไปบทที่ 7 ต่อเลย
มังคุด มาสคอตมังคุด

มังคุด

ข้อแรกต้องรวม KV cache ด้วยเหรอ หรือคิดแค่ตัวโมเดลก็พอ?