在自己的机器上跑大模型:Open WebUI 提供对标 ChatGPT 的对话界面,后端接 Ollama 在本地运行开源模型,数据全程不出你的服务器。本分类的 Dify 篇(多服务编排)正在筹备——它需要完整的 Docker 多容器环境实测,等在实验机上跑通后补上,绝不拿演示站截图充数。
Open WebUI v0.12.5 + Ollama v0.40.13 实测教程:Compose 双服务部署、创建管理员、导入 qwen2.5:0.5b 真实对话与踩坑。
多服务编排,待在有 Docker 的实验机上实测完成后补上。
能跑小参数模型:7B 量级模型在纯 CPU 上可以对话,只是速度有限;想要流畅体验,显存 8GB 起步比较现实。Open WebUI 本身只是界面,真正的算力消耗在 Ollama 加载的模型上。
不会。Open WebUI + Ollama 是全本地链路:模型权重下载到本机、推理在本机、对话记录存在本机数据目录。这也是自托管 AI 相比在线服务最大的意义。
可以,Open WebUI 支持接入 OpenAI 兼容接口,把在线模型和本地模型放在同一个界面里切换。但接了在线接口,对话内容就会发给对应服务商,按各家的隐私政策处理。