一、下载Ollama
Ollama 是一个基于 Go 语言的本地大语言模型运行框架,类 docker 产品(支持 list,pull,push,run 等命令),事实上它保留了 Docker 的操作习惯,支持上传大语言模型仓库 (有 deepseek、llama 2,mistral,qwen 等模型,你也可以自定义模型上传)。
在管理模型的同时,它还提供了一些 Api 接口,让你能够像调用 OpenAI 提供的接口那样进行交互。
使用Ollama可以大大降低显存需求,消费级的显卡也能运行大模型,首先进入官网下载:https://ollama.com/download
选择windows版本
双击安装
浏览器输入http://127.0.0.1:11434/
成功!
二、下载DeepSeek-R1模型
进入Ollama官网,找到Models标签,可以看到第一个就是DeepSeek-R1:
点进去以后,可以在下方选择模型的参数规模,每个模型右边则是模型的大小,如果是8g的显卡,可以选择7b或者8b的模型。
然后复制右侧的命令:
打开电脑终端,键盘上按win+R,输入cmd,进入命令行:
输入刚才复制的命令,下载大模型
至此,已经下载完毕了。
三、命令行对话
下载完模型以后,直接进入对话界面,可以直接在命令行对话聊天,标签内是深度思考的内容:
可视化本地大模型安装
Chatbox
Chatbox AI 是一款 AI 客户端应用和智能助手,支持众多先进的 AI 模型和 API,可在 Windows、MacOS、Android、iOS、Linux 和网页版上使用。
配置上Ollama,打开Chatbox
转载请注明出处