KK3K 选型指南
本地 AI 模型部署入门
说明本地运行大模型前需要评估的硬件、模型、隐私、工具和维护成本。
适合阅读：开发者、研究人员、企业 IT、隐私敏感团队和模型爱好者
选择时重点看什么
本地部署能减少数据外发，但并不等于自动安全。
模型大小、量化方式、上下文长度和并发量共同决定硬件需求。
个人试用可优先桌面工具，团队服务则需要权限、监控和更新机制。
建议执行步骤
- 1明确离线、隐私、成本或定制化目标。
- 2根据内存和显存选择模型与量化版本。
- 3在非敏感样例上测试速度和质量。
- 4建立模型来源、版本、权限和升级记录。
相关 AI 软件
以下产品用于帮助比较入口、平台和适用方向，不代表付费排名。
海外
本地运行大模型的工具，适合在个人电脑或服务器上运行 Llama、Qwen、DeepSeek 等模型。
本地部署开源模型运行
官方来源
海外
本地大模型运行与聊天工具，适合下载、管理和测试开源模型。
本地部署开源模型桌面端
官方来源
海外
L
Meta Llama
官方最新版|以官方页面为准
Meta 的开放权重大模型系列，适合本地部署、私有化、研究和企业微调场景。
开源生态本地部署Meta
官方来源
海外
G
Google Gemma
官方最新版|以官方页面为准
Google 发布的开放模型系列，适合研究、本地部署、轻量应用和私有化开发。
开放模型Google本地部署
官方来源
海外
M
Mistral AI
官方最新版|以官方页面为准
欧洲 AI 公司 Mistral 推出的模型与 La Plateforme API，覆盖通用、代码和多语言场景。
欧洲API开源生态
官方来源
国内
D
DeepSeek API
官方最新版|以官方页面为准
DeepSeek 官方开发者平台，适合调用 DeepSeek 模型进行推理、代码、Agent 和企业集成。
DeepSeekAPI国产
官方来源
国内
魔
ModelScope 模型库
官方最新版|以官方页面为准
魔搭社区的模型库与开发生态，适合查找、下载、体验和部署中文及开源模型。
模型社区开源国产
官方来源
海外
H
Hugging Face Models
官方最新版|以官方页面为准
Hugging Face 的全球模型库，汇集开源语言、图像、音频、视频和多模态模型。
模型社区开源全球
官方来源