GGUF、GPTQ、AWQ 量化格式有什么区别
2026/8/2 21:24:00 人气 1
AI 模型与开源模型
GGUF 更适合桌面端和 llama.cpp 生态,GPTQ 与 AWQ 常见于 GPU 推理服务。实际效果还取决于量化位数、校准数据和推理后端。 建议在相同提示词、上下文长度和批大小下对比速度、显存与回答质量,不要只依据文件大小做选择。
Admin-小和
如果自己都不在乎自己 那还有谁在乎你
ID1000
精灵 九级
更多...
江门
博客
相册
帖子
跟帖
0
收藏
回顶
举报
关注
管理
Qwen、Llama、DeepSeek:本地部署怎么选
发表回复
你牛,我顶!
通知楼主
附件
更多回帖(0)
只看楼主回复
返回上级
返回首页
登录
注册
返回页面
帖子
请选择搜索类型
帖子
文章
会员
发表回复