1、打开 Open-WebUI，点击左下角用户头像，选择设置。
2、进入管理 > 外部连接，点击添加连接，选择Ollama API。
3、地址填写 http://host.docker.internal:11434（容器内访问宿主机 Ollama 的默认地址），点击保存并验证，成功后会自动加载 Ollama 中的模型。
返回主界面，在模型选择框中选目标模型（如 Llama 3 8B），进入对话页。
点击对话框上方的高级参数，这里可设置量化、批处理等：量化模式对应模型的量化版本（如下载的是 FP16 版本会自动适配），批处理大小调整为 4 - 8 即可。
评论 (0)