在我们上一篇文章里面《一夜干掉漂亮国企业4.2万亿市值的DEEPSEEK如何通过Chatbox+Ollama组合实现搭建本地AI大模型会话系统部署》提到了如何在本地实现DEEPSEEK大模型的安装,当我们在本地安装成功后,如何通过PYTHON来实现调用我们本地的大模型,实现需求对话或常规文案类的生成呢?第一步、安装OLLAMA本地管理系统也就是上

扫码分享
二维码

详细介绍

在我们上一篇文章里面《一夜干掉漂亮国企业4.2万亿市值的DEEPSEEK如何通过Chatbox+Ollama组合实现搭建本地AI大模型会话系统部署》提到了如何在本地实现DEEPSEEK大模型的安装,当我们在本地安装成功后,如何通过PYTHON来实现调用我们本地的大模型,实现需求对话或常规文案类的生成呢?

第一步、安装OLLAMA本地管理系统

也就是上面这篇文章里面讲到的安装OLLAMA;

第二步、安装PYTHON里面的OLLAMA库;

安装指令为:pip install ollama

第三步、创建PYTHON文件

在这个文件里面我们提供三种模式:

第1种模式:直接输出

# 直接输出
import ollama
response = ollama.chat(model="deepseek-r1:8b", messages=[{"role": "user","content": "你好"}], stream=False)
print(response['message']['content'])


第2种模式:流式输出

# 流式输出
import ollama
response = ollama.chat(model="deepseek-r1:8b", messages=[{"role": "user", "content": "你好"}], stream=True)
for part in response:
    print(part['message']['content'], end='', flush=True)


第3种模式:流式输出,同时设置模型为后台常驻

# 流式输出,同时设置模型为后台常驻,需要手动 ollama stop 关闭
import ollama
response = ollama.chat(model="deepseek-r1:8b", messages=[{"role": "user", "content": "你好"}], stream=True, keep_alive=-1)
for part in response:
    print(part['message']['content'], end='', flush=True)


在上述三种模式里面其中model对应的值即为本地模型的名称,如果你的是其它名称,只需要将其中的deepseek-r1:8b替换为其它模型即可;

修改本地模型的存放路径:

Windows 系统下 Ollama 默认是下载在 C 盘,如果内存/显存充足,但 C 盘空间不足,那么还是无法下载参数比较大的模型。这里给出修改模型存放路径的方法。

按 win 键,搜索“环境变量”,打开“环境变量”。在“系统变量”中,将ollama的原始路径替换为自己新的文件夹路径即可(同时记得将这个文件夹里面所的文件剪切粘贴到新创建的文件夹里面去)

这个文件夹路径需要提前手动新建完成。

设置完环境变量后,可以把 C 盘之前下载的模型移过来,原来的路径大概是这个:C:\Users\guan.ollama\models。关闭终端后重新打开,在新路径下的模型还是可以被识别到。

额外辅助:

同理也可以通过上述方案调用本地其它大模型,比如千问、百度等其它通过ollama下载的模型;