一、下载Ollama

Ollama 是一个基于 Go 语言的本地大语言模型运行框架,类 docker 产品(支持 list,pull,push,run 等命令),事实上它保留了 Docker 的操作习惯,支持上传大语言模型仓库 (有 deepseek、llama 2,mistral,qwen 等模型,你也可以自定义模型上传)。

在管理模型的同时,它还提供了一些 Api 接口,让你能够像调用 OpenAI 提供的接口那样进行交互。

使用Ollama可以大大降低显存需求,消费级的显卡也能运行大模型,首先进入官网下载:https://ollama.com/download
选择windows版本

Image

Image

双击安装

Image

浏览器输入http://127.0.0.1:11434/
成功!

Image

二、下载DeepSeek-R1模型

进入Ollama官网,找到Models标签,可以看到第一个就是DeepSeek-R1:

Image

Image

点进去以后,可以在下方选择模型的参数规模,每个模型右边则是模型的大小,如果是8g的显卡,可以选择7b或者8b的模型。

Image

然后复制右侧的命令:

Image

打开电脑终端,键盘上按win+R,输入cmd,进入命令行:

Image

输入刚才复制的命令,下载大模型

Image

Image

至此,已经下载完毕了。

三、命令行对话

下载完模型以后,直接进入对话界面,可以直接在命令行对话聊天,标签内是深度思考的内容:

可视化本地大模型安装

Chatbox
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。

下载安装https://chatboxai.app/zh

Image

配置上Ollama,打开Chatbox

Image

Image

转载请注明出处