越来越多的朋友想本地部署 AI 模型

整理了一份实用配置清单，帮大家少走弯路。

硬件要求

CPU：至少 4 核，推荐 8 核以上

内存：16GB 起步，32GB 更流畅

显卡：NVIDIA 6GB 显存以上（RTX 3060 性价比不错）

硬盘：SSD 必备，模型文件很大

软件环境

1. Python 3.10
2. CUDA 11.8 （N 卡用户）
3. 各种依赖库（requirements.txt 一键安装）

常见坑点

– 显存不足：降低 batch_size 或用量化模型
– 依赖冲突：用 conda 创建独立环境
– 下载太慢：找国内镜像源
– 温度过高：注意散热，别降频了

推荐模型

入门：Qwen-7B、ChatGLM-6B
进阶：Llama-2-13B、Baichuan-13B
高端：多模态模型（需要 24GB 显存）

本地部署虽然麻烦，但数据隐私有保障，响应速度也快。

有问题欢迎评论区交流，看到都会回～

—
*纯干货分享，建议收藏*