DeepSeek-VL2部署教程

deepseek是一家成立于2023年7月17日的创新型科技公司，由知名量化资管巨头幻方量化创立。公司致力于开发先进的大语言模型llm和相关技术。

一、介绍

DeepSeek-VL2 是一个先进的大型混合专家 MoE 视觉语言模型系列，在其前身 DeepSeek-VL 基础上进行了显著改进。该模型系列在多种任务中展现出卓越能力，包括但不限于视觉问答、光学字符识别、文档/表格/图表理解以及视觉基础。该系列包含三个变体：DeepSeek-VL2-Tiny、DeepSeek-VL2-Small 和 DeepSeek-VL2，分别拥有 1.0B、2.8B 和 4.5B 的激活参数。与现有开源密集型和基于 MoE 的模型相比，DeepSeek-VL2 在相似或更少的激活参数下，实现了具有竞争力甚至最先进的性能。

二、部署过程

基础环境最低要求说明：

1. 更新基础软件包

查看系统版本信息

配置 apt 国内源

该命令用于更新本地软件包索引，从所有已配置的源中检索最新的软件包列表信息，但不会安装或升级任何软件包。这是在安装新软件包或进行升级前的推荐步骤，确保获取的是软件包的最新版本。

该命令用于安装 Vim 文本编辑器。选项 -y 表示自动对所有提示回答“是”，从而在安装过程中无需手动确认。Vim 是一款功能强大的文本编辑器，广泛应用于编程和配置文件编辑。

为保障安全，先备份当前的文件后再进行修改：

该命令将当前文件复制为备份文件。这是一个良好的习惯，因为在编辑 sources.list 文件时可能出错，导致无法安装或更新软件包。有了备份，出现问题时可轻松恢复原始文件。

该命令使用 Vim 编辑器打开文件进行编辑。该文件包含了 APT（高级软件包工具）用于安装和更新软件包的软件源列表。通过编辑该文件，可以添加新的源、更改现有源的优先级或禁用某些源。

在 Vim 中，可使用方向键移动光标，按下 i 键进入插入模式进行文本编辑，按 Esc 键退出插入模式，输入 :wq 命令保存并退出，或输入 :q! 命令不保存并退出。

编辑文件时，务必清楚操作内容，尤其是添加新软件源时。错误源可能导致软件包安装失败或系统安全问题。如有疑问，建议先搜索可靠源信息或咨询有经验的 Linux 用户。

使用 Vim 编辑器打开文件，复制以下代码替换全部内容，以配置 apt 国内阿里源。

安装常用软件和工具

出现以下页面，表明国内 apt 源已成功替换，并且可以正常安装 apt 软件和工具：

2. 安装 NVIDIA CUDA Toolkit 12.1

· 下载 CUDA Keyring：

该命令用于下载 CUDA 的 GPG 密钥环，用于验证 CUDA 软件包的签名，这是确保软件包安全的重要步骤。

· 安装 CUDA Keyring：

使用 dpkg 安装下载的密钥环，以便 apt 能够验证从 NVIDIA 仓库下载的软件包签名。

· 必要时删除旧 apt 密钥：

此步骤可能非必需，除非你知道某个旧密钥与 CUDA 相关并希望将其从系统中移除以避免混淆。通常情况下，如果只安装 CUDA 并使用 NVIDIA 提供的最新密钥环，可以跳过此步。

· 更新 apt 包列表：

更新 apt 的软件包列表，以包含通过添加的 NVIDIA 仓库中的软件包。

· 安装 CUDA Toolkit：

出现以下页面，表明 NVIDIA CUDA Toolkit 12.1 安装成功：

注意：这里可能存在一个问题。NVIDIA 官方 Ubuntu 仓库中可能不直接包含名为 cuda-toolkit-12-1 的包。通常，你会安装名为 cuda 或 cuda-12-1 的元包，它会作为依赖项拉入 CUDA Toolkit 的所有组件。请查阅 NVIDIA 的官方文档或仓库，确认正确的包名。

如果希望安装特定版本的 CUDA Toolkit，可能需要安装类似 cuda-12-1 的包（如果可用），或从 NVIDIA 官方网站下载 CUDA Toolkit 的 .run 安装程序进行手动安装。

请务必查看 NVIDIA 官方文档或 Ubuntu 的 NVIDIA CUDA 仓库，以获取最准确的包名和安装指令。

· 若出现上述情况，需要配置 NVIDIA CUDA Toolkit 12.1 的系统环境变量

编辑 ~/.bashrc 文件

插入以下环境变量

激活 ~/.bashrc 文件

查看 CUDA 系统环境变量

3. 安装 Miniconda

· 下载 Miniconda 安装脚本：

使用 wget 命令从 Anaconda 的官方仓库下载 Miniconda 的安装脚本。Miniconda 是 Anaconda 的一个精简发行版，包含核心组件，用于安装和管理 Python 包。

· 运行 Miniconda 安装脚本：

使用 bash 命令运行下载的 Miniconda 安装脚本，启动安装过程。

按下回车键（Enter）

输入 yes

输入 yes

安装成功如下图所示：

配置 pip 使用清华源加速：

加入以下代码

注意事项：

· 请确保系统是 Linux x86_64 架构，因为下载的 Miniconda 版本针对该架构设计。

· 在运行安装脚本前，可能需要使用 chmod +x 命令赋予脚本执行权限。

· 安装过程中，系统会提示是否同意许可协议以及是否初始化 Miniconda。通常选择“yes”以完成安装和初始化。

· 安装完成后，可使用 conda 命令管理 Python 环境和包。

· 如果链接无法访问或解析失败，可能是网络问题或链接本身的问题。请检查网络连接并确保链接最新有效。如果问题持续存在，请访问 Anaconda 官方网站获取最新下载链接。

4. 从 GitHub 仓库克隆项目

· 克隆存储库：

5. 创建虚拟环境

6. 安装模型依赖库

· 切换到项目目录、激活 trellis 虚拟环境、安装依赖

7. 下载预训练模型

· 下载预训练权重

8. 运行文件

三、网页演示

出现以下 Gradio 页面，即表示模型已搭建完成：