当前位置：网站首页 > 编程网 > 正文

Open WebUI(非docker安装)体验Ollama本地部署大模型

yuyutoo 2024-10-12 00:54 9 浏览 0 评论

Open WebUI，以前称为 Ollama WebUI，是一个可扩展、功能丰富且用户友好的自托管 Web 界面，旨在完全离线运行。它支持各种大型语言模型（LLM）运行器，使其成为用于部署语言模型和与语言模型交互的多功能工具。

Open WebUI 提供 ChatGPT 风格的界面，允许用户与运行语言模型的远程服务器聊天。

下面介绍一下在windows下如何用Open WebUI 和Ollama搭建本地大模型。

Ollama安装方法参考的另一篇文章使用Ollama简单本地部署Qwen2

关于Open WebUI 安装方法可以参考官方文档： Getting Started | Open WebUI

文档介绍了几种安装方法，官方推荐使用Docker,不过个人电脑资源有限，我这里是使用pip命令安装。首先确保确保python版本>=11。

打开windows PowerShell 直接运行安装命令：

pip install open-webui

执行完成后，需要先启动Ollama，然后在命令行中启动open-webui

open-webui serve

启动成功之后，根据提示，在浏览器访问http://localhost:8080/

然后注册一个账号，注册是本地注册不会注册到外网，第一个注册的账号会被设置为管理员。

以管理员账号登录之后，点击右下角的个人账号图标，弹出菜单中选择“settings” 选择language为“简体中文”,另外在下面“高级参数”里可以设置“Temperature”，“上下文长度”等等参数。

点击左侧菜单中的“管理员设置”，选择“模型”

根据示例在文本框中输入要从Ollama下载的模型，如果不知道Ollama有哪些模型可以点击下面的链接查看，比如我这里输入：qwen2:7b 。然后点击右边“下载”按钮，过一会模型就下载好了。

然后我们就可以返回到对话页面进行体验了。

weui

相关推荐