kv-cache

vLLM 0.26 มีอะไรใหม่? สรุปฟีเจอร์สำคัญสำหรับงาน LLM Serving

เจาะลึกการเปลี่ยนแปลงสำคัญใน vLLM 0.26 ตั้งแต่โมเดลใหม่ การเร่ง DeepSeek-V4, KV Cache Offloading, Speculative Decoding, Quantization, Rust Frontend ไปจนถึง Security