# 推理优化

模型越大越抗量化。这篇讲两类量化方法、量化后必须重测的四项，以及一套先测再上线的判断流程。

长对话变慢是被显存卡住，不是窗口。这篇讲缓存机制、三种节省手段与部署时的三个数。