如何配置远程 Ollama 服务并运行本地模型

本文详细介绍了如何在 局域网内配置 Ollama 以实现远程访问,使手机、平板或其他电脑设备能够共享本地运行的 AI 模型服务。文章涵盖 Mac、Windows 和 Linux 平台的 Ollama 远程服务配置方法,包括如何使用 launchctl、系统环境变量或 systemd 配置远程访问。此外,还介绍了 网络连接方法,如使用 ipconfig 或 ifconfig 获取本机 IP 地址,并通过 http://[IP]:11434 连接远程 Ollama 服务。同时,文中提供了 Page Assist 浏览器插件 和 Chatbox 客户端 的配置指南,支持 Windows、macOS、iOS 和 Android 设备。本教程适用于个人开发者和小型团队,希望在本地快速搭建 私有 AI 服务。

阅读时长: 3 分钟
共 1338字
作者: eimoon.com

Ollama 默认在本地运行,不对外提供服务。如果你希望在局域网内(如家庭 WiFi)使用 Ollama,并在手机或其他电脑上使用连接到这个服务。可以通过配置环境变量使其在其他设备上访问。

1. 运行本地 Ollama 模型

要运行本地的 Ollama 模型,可以使用以下命令:

ollama run deepseek-r1

2. 配置远程 Ollama 服务

默认情况下,Ollama 仅允许本机访问。要让它对外提供服务,需要设置以下环境变量:

OLLAMA_HOST=0.0.0.0
OLLAMA_ORIGINS=*

2.1 MacOS 配置 Ollama 远程服务

在终端执行以下命令,使 Ollama 监听所有网络请求:

launchctl setenv OLLAMA_HOST "0.0.0.0"
launchctl setenv OLLAMA_ORIGINS "*"

然后,重启 Ollama 使配置生效。

取消 MacOS 上的 launchctl 环境变量

如果你只是测试,测试完希望取消这些环境变量,可以运行以下命令:

launchctl unsetenv OLLAMA_HOST
launchctl unsetenv OLLAMA_ORIGINS

2.2 Windows 配置 Ollama 远程服务

  1. 退出正在运行的 Ollama 应用。
  2. 打开 设置(Windows 11)控制面板(Windows 10),搜索 环境变量
  3. 编辑你的用户环境变量:
    • 新建或编辑 OLLAMA_HOST,值设为 0.0.0.0
    • 新建或编辑 OLLAMA_ORIGINS,值设为 *
  4. 保存设置并重新启动 Ollama。
  5. 如果你习惯命令行,使用命令行方式(可选)
setx OLLAMA_HOST "0.0.0.0"
setx OLLAMA_ORIGINS "*"

2.3 Linux 配置 Ollama 远程服务

在 Linux 上,如果 Ollama 作为 systemd 服务运行,需要通过 systemctl 设置环境变量。

  1. 编辑 systemd 服务配置:
sudo systemctl edit ollama.service
  1. [Service] 部分添加以下内容:
[Service]
Environment="OLLAMA_HOST=0.0.0.0"
Environment="OLLAMA_ORIGINS=*"
  1. 重新加载 systemd 并重启 Ollama:
sudo systemctl daemon-reload
sudo systemctl restart ollama

在linux通常更多的是使用 vLLM 或 llama.cpp,更适合生产环境并支持更高效的推理。

3. 获取 Ollama 服务 IP 地址

配置完成后,你可以在局域网内的其他设备上连接到 Ollama。

在本机终端运行以下命令获取 IP 地址:

ipconfig # Windows
ifconfig  # macOS / Linux

通常,Ollama 服务的 IP 地址类似于 192.168.X.X,你可以在你的 客户端中或者插件中设置 API Host 为:

http://192.168.X.X:11434

4. 插件配置使用远程ollama

chrome 浏览器安装 paga assist 插件

先到设置中修改语言为中文,然后修改ollama 的设置,ollama url 填写你的远程 ollama地址, 例如我的远程电脑的ip是 192.168.0.101 这里的值就是

http://192.168.0.101:11434

alt text

然后你就可以在你的电脑上面使用局域网内使用ollama运行的大模型了。

5. 使用chatbox运行远程ollama

Ollama 支持多个 UI 界面(查看官方支持列表)。这里我们使用 Chatbox 来连接远程 Ollama。

安装chatbox后,打开设置(或者打开针对本模型的设置),然后选择模型提供方,选择ollama api,在添加远程服务的ip地址和端口

http://192.168.0.100:11434

然后稍等一下,如果局域网没有配置错误,就会看到你远程运行的模型,选择其中一个,保存。然后就可以在当前电脑使用远程模型了。 alt text

6.手机使用远程ollama

📱 安卓 & iOS 设备均可使用 Chatbox 连接远程 Ollama

📌 安装 Chatbox

安卓设备

  • 已安装 Google Play 商店:直接搜索 Chatbox 并安装。
  • 未安装 Google Play 商店:可通过 官方 APK 下载 安装。

苹果设备

  • App Store 搜索 Chatbox 并安装。

📌 配置步骤

1️⃣ 打开 Chatbox 设置。 2️⃣ 选择 Ollama API 作为模型提供方。 3️⃣ 输入远程服务器地址,例如:

http://192.168.0.101:11434

4️⃣ 保存设置,即可在手机上使用远程 Ollama 运行的大模型!

7.关闭远程访问

如果不想让 Ollama 继续对外提供服务,可以使用这些命令取消远程访问。

mac

launchctl unsetenv OLLAMA_HOST
launchctl unsetenv OLLAMA_ORIGINS

windows

setx OLLAMA_HOST "" 
setx OLLAMA_ORIGINS "" 

4. 注意事项

  • 确保你的设备在同一 WiFi 网络下。
  • 如果无法连接,检查防火墙是否允许 11434 端口通信。
  • 如果服务运行不稳定,可以尝试 sudo systemctl restart ollama(Linux)或重启应用(Mac/Windows)。

这样,你就可以在手机或其他电脑上远程访问 Ollama 运行的 AI 模型了!

关注我获取更多资讯

公众号
📢 公众号
个人号
💬 个人号
使用 Hugo 构建
主题 StackJimmy 设计