本地部署大模型踩坑实录分享

试着在本地部署 Llama 3 玩了一圈,踩坑记录分享下。

硬件:RTX 3060 12G 勉强能跑 8B 模型,4-bit 量化后勉强能对话。内存至少 16G,磁盘别低于 50G(模型文件巨大)。

工具推荐:Ollama 一键启动最简单,LM Studio 适合调试参数,text-generation-webui 功能最全。

踩坑重点:1.量化级别越低质量越差 2.上下文长度别开太高会爆显存 3.中文能力 Qwen > Llama。本地部署玩玩可以,生产环境还是调 API 靠谱。

请登录后发表评论

    没有回复内容