diff --git a/docs/quick-start.md b/docs/quick-start.md index 37068354..442a76df 100644 --- a/docs/quick-start.md +++ b/docs/quick-start.md @@ -63,6 +63,28 @@ Groq Whisper API、OpenAI API 等国外大模型/推理平台 API 一般无法 对于本快速开始文档选择的组件,你需要一个速度正常的 CPU (ASR),一个 Ollama 支持的 GPU (LLM),以及网路链接 (TTS)。 +## Docker快速启动 + +:::info 说明 +Docker是**最适合小白**的部署方式,它可以一键部署所有组件,无需手动配置。 +::: + +:::warning 中国大陆网络提示 +中国大陆地区拉取镜像时可能会遇到网络问题(包括 Docker Hub 访问缓慢或 DNS 解析异常)。 +如果遇到拉取失败/速度极慢,建议魔法上网(首选),或者参考[这个镜像汇总仓库](https://github.com/dongyubin/DockerHub?tab=readme-ov-file)寻找可用镜像源与配置方法。 +::: + +:::note 目前的docker镜像对平台支持情况如下表 +| 平台 | CPU 支持 | NVIDIA GPU 支持 | AMD/Intel GPU 支持 | +|----------|----------|-----------------|--------------------| +| Linux | ✅ | ✅ | ❌ | +| Windows | ✅ | ✅[(需安装Nvidia驱动)](#nvidia-gpu-支持) | ❌ | +| macOS | ✅ | ❌ | ❌ | +::: + +如果你对 Docker 感兴趣,请移步[Docker 部署指南](/docs/user-guide/backend/docker.md)。 + +如果不感兴趣,您也可以跳转到常规配置方法,从下一步,也就是[环境准备](#环境准备)步骤开始。 ## 环境准备 diff --git a/docs/user-guide/backend/agent.md b/docs/user-guide/backend/agent.md index dcc73a19..6220c493 100644 --- a/docs/user-guide/backend/agent.md +++ b/docs/user-guide/backend/agent.md @@ -1,5 +1,5 @@ --- -sidebar_position: 5 +sidebar_position: 6 --- # 智能体 (Agent) diff --git a/docs/user-guide/backend/asr.md b/docs/user-guide/backend/asr.md index 010b1a52..337625e4 100644 --- a/docs/user-guide/backend/asr.md +++ b/docs/user-guide/backend/asr.md @@ -1,5 +1,5 @@ --- -sidebar_position: 3 +sidebar_position: 4 --- import Tabs from '@theme/Tabs'; import TabItem from '@theme/TabItem'; diff --git a/docs/user-guide/backend/docker.md b/docs/user-guide/backend/docker.md index ef1fe6eb..c8e0af31 100644 --- a/docs/user-guide/backend/docker.md +++ b/docs/user-guide/backend/docker.md @@ -1,56 +1,126 @@ --- -sidebar_position: 8 +sidebar_position: 3 --- +import Tabs from '@theme/Tabs'; +import TabItem from '@theme/TabItem'; + # Docker 部署 -:::danger -由于重构幅度较大,Docker 镜像暂时还没有更新到 `v1.0.0` 版本,但是很快会更新。 +:::info 开始之前 +请复制一份配置文件模板 + +[点击这里前往中文配置文件网页](https://github.com/Open-LLM-VTuber/Open-LLM-VTuber/blob/main/config_templates/conf.ZH.default.yaml) + +在网页右上角,有一个"Download raw file"按钮,如下图,点击进行下载 + +![alt text](./docker_img/download_conf_yaml.png) + +下载完成后,将您的配置文件改名为conf.yaml,并将以下部分 + +```yaml +'system_config': + 'host': '127.0.0.1' +``` + +的**host改为0.0.0.0** +```yaml +'system_config': + 'host': '0.0.0.0' +``` + +然后,如果自己有想修改的配置,就修改conf.yaml,更换asr,llm,tts等。将改好的conf.yaml放到一个特定的路径,后面运行 Docker 容器这一步的Volumes需要填写conf.yaml所在的文件夹。 + +::: +:::tip 关于安装方式 +目前支持两种方式。 +- 如果您是小白,推荐您[使用Docker DeskTop](#使用docker-desktop)。 +- 如果您对Docker比较熟悉,也可以[使用终端命令](#使用终端命令)。 ::: -:::warning -⚠️ 请注意:此功能目前处于实验阶段,但在大多数情况下可以正常工作。 +:::caution 关于GPU支持 +目前**仅支持CPU和Nvidia GPU**, 且GPU需要配置好Nvidia驱动, 如果还没配置好, 请[**点击这里查看配置攻略**](../../quick-start.md#nvidia-gpu-支持)。 + +如果您不打算使用GPU,而是**调用api**(这也是**绝大多数用户体验最好的方式**),或者使用CPU,可以忽略此步。 ::: -您可以选择自行构建 Docker 镜像,或者直接从 Docker Hub 拉取已构建的镜像:[![](https://img.shields.io/badge/t41372%2FOpen--LLM--VTuber-%25230db7ed.svg?logo=docker&logoColor=blue&labelColor=white&color=blue)](https://hub.docker.com/r/t41372/open-llm-vtuber) +:::note 关于我们的docker团队 +我们在 docker hub 成立了[openllmvtuber团队](https://hub.docker.com/orgs/openllmvtuber/members),目前docker镜像由[@Harry_Y](https://github.com/Harry-Yu-Shuhang)维护。 +::: -## 使用须知 +## 使用 Docker Desktop 安装 -- Docker 镜像体积较大(约 13GB),且某些可选模型在使用时需要额外下载,会占用更多存储空间 -- 仅支持 NVIDIA GPU 的设备 -- 需要安装并配置 [NVIDIA Container Toolkit](https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html) 以支持 GPU 直通 -- 目前存在的问题:容器停止后部分模型需要重新下载(该问题将在后续版本修复) -- 不建议在 ARM 架构的设备上构建镜像,因为依赖项 gRPC 可能会出现构建失败的情况([相关 issue](https://github.com/grpc/grpc/issues/34998)) -- 如需在远程服务器上运行,必须配置 HTTPS。这是因为前端网页的麦克风/摄像头/屏幕录制功能只能在安全上下文(localhost 或 HTTPS 环境)中使用 +### 下载 Docker Desktop -## 预装模型说明 +访问 [Docker Desktop 下载页面](https://www.docker.com/products/docker-desktop)。 -默认镜像已预装大部分语音识别(ASR)和文本转语音(TTS)模型。但考虑到体积因素(约 8GB,会使总体积增加到 25GB)和性能表现,默认构建不包含以下模型: -- Bark TTS -- 原版 OpenAI Whisper(注意:这里指的是 Whisper,而非 WhisperCPP) +点击 "Download Docker Desktop" -如需在镜像中包含这些模型,请在构建时添加参数: -```bash ---build-arg INSTALL_ORIGINAL_WHISPER=true --build-arg INSTALL_BARK=true -``` +![alt text](./docker_img/download_docker_desktop.png) -## 部署步骤 +根据电脑类型选择对应版本 -1. 在构建镜像前,请先检查并调整 `conf.yaml` 配置文件(当前配置会被构建进镜像) +:::tip 如何选择适用于自己电脑的版本 +- **Mac Apple Silicon** → 新款 Mac (M1/M2/M3 芯片) +- **Mac Intel Chip** → 老款 Mac (Intel 处理器) +- **Windows AMD64** → 大部分 Windows 电脑 (Intel/AMD 64 位) +- **Windows ARM64** → 少见,仅 ARM 架构 Windows (如 Surface Pro X) +::: -2. 构建 Docker 镜像: -```bash -docker build -t open-llm-vtuber . -``` - > 提示:构建过程可能需要较长时间 +如果您还不确定,可以按如下方法查看系统设置: + + + + +1. 右键 **此电脑 → 属性** +2. 在 **系统类型** 一栏查看: + - “基于 x64 的处理器” → 选择 **Windows AMD64** + - “基于 ARM 的处理器” → 选择 **Windows ARM64** -3. 准备 `conf.yaml` 配置文件 - 您可以从项目仓库获取,或直接通过此[链接](https://raw.githubusercontent.com/t41372/Open-LLM-VTuber/main/conf.yaml)下载 + + -4. 运行容器: -```bash -docker run -it --net=host --rm -v $(pwd)/conf.yaml:/app/conf.yaml -p 12393:12393 open-llm-vtuber +1. 点击屏幕左上角苹果图标 → **关于本机** +2. 在“芯片”一栏查看: + - 显示 **Apple M1/M2/M3** → 选择 **Mac Apple Silicon** + - 显示 **Intel** → 选择 **Mac Intel Chip** + + + + +### 启动 Docker Desktop + +双击下载好的安装包,按照提示完成安装。 + +安装完成后,点击 Docker Desktop 图标启动 Docker。 + +首次启动时,Docker Desktop 会要求您登录 Docker Hub 账号。如果您没有账号,需要先注册一个。 + +### 获取 Docker 镜像 + +点击顶部菜单的 **Search** 图标(或使用快捷键 `Ctrl + K`(Windows)或者`Cmd + K`(MacOS))。 + +![alt text](./docker_img/click_search.png) + +在搜索框中输入以下内容,搜索到以后点击右侧的**Pull**按钮。 + +``` +openllmvtuber/open-llm-vtuber:latest ``` - 注意:请将 `$(pwd)/conf.yaml` 替换为您的配置文件实际路径 -5. 访问 `localhost:12393` 进行测试 +![alt text](./docker_img/openllmvtuber_image.png) + +### 运行 Docker 镜像 + +点击**Images**, 找到**openllmvtuber/open-llm-vtuber**, 点击右侧的运行按钮。 +![alt text](./docker_img/run_image.png) + +### 运行 Docker 容器 + +点开"Optional settings", 按照下图配置, +![alt text](./docker_img/container_config.png) + +然后等待,第一次拉取会比较慢。 + + +## 使用终端命令安装 \ No newline at end of file diff --git a/docs/user-guide/backend/docker_img/click_search.png b/docs/user-guide/backend/docker_img/click_search.png new file mode 100644 index 00000000..eec095b4 Binary files /dev/null and b/docs/user-guide/backend/docker_img/click_search.png differ diff --git a/docs/user-guide/backend/docker_img/container_config.png b/docs/user-guide/backend/docker_img/container_config.png new file mode 100644 index 00000000..314c487a Binary files /dev/null and b/docs/user-guide/backend/docker_img/container_config.png differ diff --git a/docs/user-guide/backend/docker_img/download_conf_yaml.png b/docs/user-guide/backend/docker_img/download_conf_yaml.png new file mode 100644 index 00000000..e3373b5c Binary files /dev/null and b/docs/user-guide/backend/docker_img/download_conf_yaml.png differ diff --git a/docs/user-guide/backend/docker_img/download_docker_desktop.png b/docs/user-guide/backend/docker_img/download_docker_desktop.png new file mode 100644 index 00000000..23c501e5 Binary files /dev/null and b/docs/user-guide/backend/docker_img/download_docker_desktop.png differ diff --git a/docs/user-guide/backend/docker_img/openllmvtuber_image.png b/docs/user-guide/backend/docker_img/openllmvtuber_image.png new file mode 100644 index 00000000..d2bf657d Binary files /dev/null and b/docs/user-guide/backend/docker_img/openllmvtuber_image.png differ diff --git a/docs/user-guide/backend/docker_img/run_image.png b/docs/user-guide/backend/docker_img/run_image.png new file mode 100644 index 00000000..6fa2ccca Binary files /dev/null and b/docs/user-guide/backend/docker_img/run_image.png differ diff --git a/docs/user-guide/backend/llm.md b/docs/user-guide/backend/llm.md index 5cc7b4e3..98bcfba9 100644 --- a/docs/user-guide/backend/llm.md +++ b/docs/user-guide/backend/llm.md @@ -1,5 +1,5 @@ --- -sidebar_position: 4 +sidebar_position: 5 --- import Tabs from '@theme/Tabs'; import TabItem from '@theme/TabItem'; diff --git a/docs/user-guide/backend/translate.md b/docs/user-guide/backend/translate.md index 6b008363..c115162d 100644 --- a/docs/user-guide/backend/translate.md +++ b/docs/user-guide/backend/translate.md @@ -1,5 +1,5 @@ --- -sidebar_position: 7 +sidebar_position: 8 --- # 翻译 (Translate) diff --git a/docs/user-guide/backend/tts.md b/docs/user-guide/backend/tts.md index 4f7e770f..aad501c7 100644 --- a/docs/user-guide/backend/tts.md +++ b/docs/user-guide/backend/tts.md @@ -1,5 +1,5 @@ --- -sidebar_position: 6 +sidebar_position: 7 --- # 语音合成 (TTS) diff --git a/i18n/en/docusaurus-plugin-content-docs/current/user-guide/backend/docker.md b/i18n/en/docusaurus-plugin-content-docs/current/user-guide/backend/docker.md index b3135691..7bf96283 100644 --- a/i18n/en/docusaurus-plugin-content-docs/current/user-guide/backend/docker.md +++ b/i18n/en/docusaurus-plugin-content-docs/current/user-guide/backend/docker.md @@ -1,5 +1,5 @@ --- -sidebar_position: 8 +sidebar_position: 2 --- # Docker Deployment