推理优化需要在延迟、吞吐和显存之间取舍。显存紧张时可以优先考虑量化、降低上下文长度、控制 KV Cache 和批大小；追求吞吐时再测试连续批处理与并发调度。 调整参数前先固定模型、输入长度和硬件环境，记录首 token 延迟、生成速度、峰值显存与并发成功率，避免只看单次 tokens/s。