引言

token生成的过程。

优化

量化 quantization

实践

参考链接： https://www.deeplearning.ai/courses/fast-and-efficient-llm-inference-with-vllm