AMD显卡本地部署DeepSeek
问题描述
如果你的DeepSeek只在CPU和内容中运行(显存占用很低)。
或者是你不知道如何在本地部署DeepSeek，那么本篇文章将帮助你解决这个问题。
资源获取
本文档中的所有下载的所需资源都可以在网盘下载或在右上角的群内容获取。
1. Ollama部署
Ollama是一个开源的大模型管理框架，可以帮助你在本地部署DeepSeek。
你可以从这里访问Ollama的官网下载。
注意，如果你是AMD显卡，你应该下载Ollama的AMD版本，否则大模型会在CPU上运行，推理效率低。
你可以使用ALT+鼠标左键，在新标签中打开链接，防止此页面丢失。
github：ollama-for-amd
打开后点击右侧Releases标签，进入软件列表，将页面拖至最低部，如果你的AMD显卡是6000/7000系列以上（支持ROCm），下载前两个版本，否则下载第三个版本。
视频中此部分内容介绍有误，如果你是A卡6800及以上用户直接使用网盘中的OllamaSetup(A卡6800及以上、N卡等).exe安装包即可，否则使用Ollama-for-amd(6800及一下).exe 安装包
网盘内包括A卡6800及以上ollama安装包（包括N卡）、mac安装包
获取安装包后一路下一步，直至右下角出现羊驼图标，表明Ollama服务已启动。
如果磁盘空间不足，你可使用网盘文件中的 磁盘分区助手.zip 进行调整。
2. 下载DeepSeek
2.1 下载DeepSeek
在开始菜单处搜索cmd,打开命令行窗口，输入以下命令下载DeepSeek：
ollama run deepseek-r1:1.5b
当看到有百分比显示时，说明DeepSeek已经开始下载。
如果下载过程较慢，耐心等待即可一般不会卡死。
当屏幕出现send a message时，说明DeepSeek已经下载完毕，可以向他提问了。
2.2 确认是否在显卡中运行
在开始菜单处搜索任务,打开任务管理器，切至性能，观察专用显存占用情况，如果很低，证明DeepSeek没有在显卡中运行。
如下图所示：
此时你需要替换部分文件，才能修复此问题。
访问github：v0.6.1.2
网盘压缩包内文件名：romc(A卡6800及以下需替换).zip
如果你无法解压 .7z文件 可以使用网盘文件中的 7z压缩包解压工具.EXE 。
替换rocm
页面最低部，根据你的显卡类型，下载对应的文件：
如5700xt就下载：rocm.gfx1010-xnack-.for.hip.sdk.6.1.2.7z
下载完成后，将解压的内容分别对应替换：
C:\Users\你的用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas.dllC:\Users\你的用户名\AppData\Local\Programs\Ollama\lib\ollama\rocblas\library网盘中我将全部gpu_type的内容都下载下来了，你可以根据自己的显卡类型替换。
主流消费级显卡对照
专业卡/计算卡对照
APU/集成显卡对照
2.3 重启Ollama
再次查看性能，如果专用显存占用有提升，说明DeepSeek已经在显卡中运行。
2.4 UI界面
安装page assist拓展，可以使用Ollama的UI界面。
此拓展需要在谷歌浏览器或火狐浏览器中安装，其中谷歌浏览器的拓展商店需要科学上网才能访问。
如果你无法科学上网，可下载安装火狐浏览器，下载地址
下载完成后，点击右上角拼图图标，打开管理扩展，点击下方添加附加组件，搜索page-assist，打开后点击添加到Firefox。
下载过程可能会比较慢，耐心等待即可。
拓展下载完成后，浏览器右上角会弹窗提示添加，点击添加。
击右上角拼图图标，打开page assist界面，在右上角选择你刚下好的模型，在下方输入框输入内容就可以向deepseek提问了。
2.5 语言设置
语言设置
点击右上角设置图标，你可以设置语言，如下：
3.主要问题解答
我该下载使用那个版本的DeepSeek
关于B的选择：
关于内容使用：
可以使用内存来跑，无非就是慢，2-3tokens/s甚至更低。
适合不关注效率的推理。
关于Q的选择：
如果你通过其他渠道可以下载模型（Ollame默认是4Q）
建议下载4Q以上版本，Q值越低精度越低。
下载高Q值不如下载高B值的模型。