仙宫云自部署Ollama+openwebUI，一套代码享受多套LLM大模型
自部署，一套代码享受多套LLM大模型
例如：通义千问，deepseek，gemma，llama，yi等大模型
甚至还可以将其与stable diffusion 进行联动，实现一句话画一张图
GPU云服务器
在仙宫云Linux服务器上搭建Ollama+openWebUI
仙宫云Linux服务器Ollama+openWebUI镜像使用教程
环境
PyTorch 2.1.0
Python 3.10
CUDA 12.2
1. 安装nvm，nodejs版本管理器
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.7/install.sh | bash
export NVM_DIR="$HOME/.nvm"
[ -s "$NVM_DIR/nvm.sh" ] && \. "$NVM_DIR/nvm.sh"
[ -s "$NVM_DIR/bash_completion" ] && \. "$NVM_DIR/bash_completion"
安装node环境
nvm install 18.20.2
设置npm镜像源
npm config set registry https://registry.npmmirror.com
npm官方：https://registry.npmjs.org
淘宝最新：https://registry.npmmirror.com
腾讯云：http://mirrors.cloud.tencent.com/npm/
华为云：https://repo.huaweicloud.com/repository/npm/
安装nvm来快速管理镜像源
npm i nvm -g
查看nvm所有的镜像源
nvm ls
切换成npm镜像源
nvm use npm
2. 安装ollama
curl -fsSL https://ollama.com/install.sh | sh
如果卡顿可以使用这个命令
. /accelerate/start # 开始加速
. /accelerate/stop # 停止加速
3. 安装open webui
因为我这里用的是docker容器服务器，所以我这里展示的是非docker的安装方式
下载代码
git clone https://github.com/open-webui/open-webui.git
安装ui界面依赖
cd /open-webui
# 添加环境变量配置
cp -RPp .env.example .env
npm i
如果安装不动，可更换npm镜像源
需要将node_modules和package-lock.json给删除掉
打包ui界面文件
npm run build
安装open webUI的python依赖
cd ./backend
pip install -r requirements.txt -U
# 如果上面的pip总是失败的话再这个命令后面添加个 -i https://pypi.tuna.tsinghua.edu.cn/simple some-package 参数来临时更换一下镜像源。
pip install -r requirements.txt -U -i https://pypi.tuna.tsinghua.edu.cn/simple some-package
启动 open webUI
bash start.sh
4. 启动ollama
启动ollama一共两种启动
第一种：公网访问
export OLLAMA_HOST=0.0.0.0:11434
ollama serve
11434可以换成其他的，自己定义
第二种：本地访问
ollama serve
不过若是机器性能不是很强的话建议公网访问，毕竟open webUI可以同时调用多个LLM大模型
抱歉我给忘了，第一次启动要在抱脸上下载文件，然后得先启动加速
一键启动脚本
#!/bin/bash
screen -ls | grep Detached | cut -d. -f1 | awk '{print \$1}' | xargs kill
echo "开始启动ollama"
# 创建一个新的screen窗口，名称为ollamaService，并执行ollama serve命令
screen -S ollamaService -d -m bash -c 'export OLLAMA\_HOST="0.0.0.0:9090"; ollama serve; exec bash'
echo "开始启动OpenWebUI"
# 创建一个新的screen窗口，名称为openWebUI，并执行cd和bash start.sh命令
screen -S openWebUI -d -m bash -c 'cd /root/open-webui/backend; bash start.sh; exec bash'
# 输出提示信息
echo "OpenWebUI URL: <http://localhost:8080>"
echo "Ollama URL: <http://0.0.0.0:9090>"
# 等待三秒或者更久
sleep 3
# 退出脚本，这将关闭终端
exit 0
