ai

本地运行 deepseek-r1,LLM 安装简明指南

本文是本地运行 deepseek-r1 的 LLM 安装指南。涵盖 Ollama 安装(分 macOS、Linux、Windows 系统)、模型下载与运行(命令行及 API 调用)、常用命令、注意事项,还介绍了 Chatbox 安装与使用,助力用户顺利部署。

  • 下载并安装 ollama
  • 使用 ollama 运行各种模型(LLM)
  • 安装 chatbox 通过图形化界面使用模型

Ollama

本地运行 DeepSeek-R1 模型,需要先安装 Ollama 服务,然后下载模型,并运行。

以下是使用 Ollama 在本地运行 DeepSeek-R1 模型的完整步骤:

一、安装 Ollama

1. macOS 系统

1
2
3
4
# 通过 Homebrew 安装
brew install ollama
# 启动服务(后台运行)
ollama serve

2. Linux 系统

1
2
3
4
# 一键安装脚本
curl -fsSL https://ollama.com/install.sh | sh
# 启动服务
systemctl start ollama

3. Windows 系统

  1. 访问 Ollama 官网 下载 Windows 安装程序。
  2. 双击安装,完成后会自动启动服务。

二、下载 DeepSeek-R1 模型

1
2
# 默认下载为 7b 模型,还可以选:1.5b 8b 14b 32b 70b 671b
ollama pull deepseek-r1

三、运行模型

可以通过以下两种方式运行模型:

命令行运行

1
2
# 启动交互式对话
ollama run deepseek-r1

运行效果:

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
>>> 数字 1.9 和 1.11 中哪个大?
<think>
嗯,今天老师布置了一个数学题,让我比较一下两个数,1.9和1.11,哪个更大。一开
始我觉得这个题目应该不难,毕竟都是小数点的数,但仔细想想还是有点不确定,所以
决定好好思考一下。

首先,我得回忆一下小数点位值的概念。小数点左边是整数部分,右边第一位是十分位
,第二位是百分位,依此类推。那1.9和1.11都是小数,看起来都是1开头的,所以整数
部分都一样,都是1,这点应该没问题。

接下来就是比较小数部分了。这里可能有点混淆的地方,因为1.9只有一位小数,而
1.11有两位小数。那我是不是要把它们的小数位对齐才能比较呢?比如把1.9写成
1.90,这样就有两位小数,和1.11一样了。这样做会不会更容易比较?

假设我把1.9写成1.90,那么现在两个数都是以1.开头的,小数部分分别是90和11。那显然
90比11大很多,所以这时候可以得出结论,1.90大于1.11。

不过,我是不是应该更详细地分解一下呢?比如分别比较十分位和百分位上的数字。对于
1.9来说,小数点后的第一位是9,也就是十分位是9;而1.11的小数点后第一位是1,第二位也
是1。那么在十分位上,9比1大,所以即使后面的百分位有数字,十分类已经决定了较大的那
个数。

哦,对了,还有一种方法就是把这两个数转换成分数来比较。比如1.9可以看作19/10,而
1.11则是111/100。为了比较它们的大小,我可以找到共同的分母,比如将19/10变成
190/100,这样就和111/100可以直接比较了。显然,190比111大,所以19/10大于111/100。

或者,我可以直接计算它们的差值。比如用1.9减去1.11,结果是多少呢?计算一下:1.9等于
1.90,那么1.90 - 1.11 = 0.79,这显然是一个正数,说明1.9大于1.11。

有时候可能会有同学在比较小数时直接看数字的位数多寡来判断大小,比如以为两位小数一定
比一位小数大,其实这是不对的。因为小数部分的大小取决于每一位上的数字,而不是小数点
后的位数多少。

再举个例子,比如0.9和0.11,同样是十分位和百分位比较,0.9等于0.90,那么0.90大于
0.11;而如果是0.1和0.99呢?这时候小数部分0.1等于0.10,比0.99小。所以,关键还是要看
每一位上的数字,而不是位数的多少。

总结一下,比较小数的时候,首先比较整数部分,如果相同,再依次比较十分位、百分位等,
直到分出大小为止。或者将它们转换成分数或共同的小数形式进行比较,这样可以更直观地看
出哪个更大。
</think>

1.9比1.11大。

**步骤解释:**

1. **统一小数位数**:为了方便比较,将1.9写成1.90,使它和1.11都有两位小数。
2. **逐位比较**:
- 整数部分都是1,相等。
- 十分位上,1.90的十分位是9,而1.11的是1。9 > 1,因此1.90更大。
3. **结论**:由于在十分位上9大于1,所以无需比较百分位,即可确定1.9(即1.90)比
1.11大。

或者通过计算差值:
- 1.9 - 1.11 = 0.79 > 0,因此1.9更大。

>>> Send a message (/? for help)

或通过 API 调用

1
2
3
4
5
curl http://localhost:11434/api/generate -d '{
"model": "deepseek-r1:14b",
"prompt": "你好,请介绍你自己",
"stream": false
}'

四、常用命令

  • 列出已安装模型
    ollama list
  • 删除模型
    ollama rm deepseek-r1
  • 查看正在运行模型
    ollama ps

硬件要求

  • 至少 8GB 可用内存(7B 模型)。
  • 推荐使用 NVIDIA GPU 并安装 CUDA 驱动加速。

M1 vs Nvidia GPU 性能对比


通过以上步骤,即可在本地顺利运行 DeepSeek-R1 模型。

Chatbox

Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。访问 https://chatboxai.app/zh#download 下载适合你操作系统的版本。

安装 Chatbox

以 Mac 系统为例,双击下载的 dmg 文件,将 Chatbox AI 安装到你的系统。
安装 Chatbox

使用 Chatbox

选择 Ollama 模型

点击 设置 按钮选择 模型提供方Ollama API(需要确定 Ollama 服务已运行)。

设置模型:使用 Ollama API

确定了模型提供方后,就在模型列表中选择 deepseek-r1:14b 模型:
alt text

自定义“对话”设置(可选)

设置 -> 对话 页面中,你可以自定义对话设置,如:

deepseek 官方提供了提示词示例:https://api-docs.deepseek.com/zh-cn/prompt-library/
alt text

本机使用 Chatbox 效果如下:

使用:中国历是阴历吗?

小结

现在已经可以在本机上不受限制的运行大模型了,是不是很棒!但现在只能通过对话聊天的形式进行使用,不够过瘾。后面会介绍怎么在本机搭建 RAG 知识库系统,以实现更高级的运用。

分享到