部署 Intelli-Agent，利用 DeepSeek 快速构建 LLM 应用

方案概述

服务列表

执行流程

文档处理架构

关闭

模型选型

界面展示

关闭

实现方式

• 步骤 1: 部署前置条件

  亚马逊云科技账号相关要求

  1. 拥有一个亚马逊云科技中国区域可用的账号和一个有 Admin 权限的 IAM User/IAM Role
  2. 拥有一个在亚马逊云科技中国区域北京或宁夏 ICP 备案的域名，如果在其他云备案， 请将亚马逊云科技账号新增接入/提前完成 ICP exception 申请
  3. Limit 相关：新用户至少保证有 1 个 VPC 和 2 个 EIP 可用，Sagemaker Endpoint 至少需要 1 个 ml.g4dn.2xlarge，1 个 ml.g4dn.4xlarge quota，Lambda 的内存最低 4096M

  在亚马逊云科技中国区域 Marketplace上订阅硅基流动的 API

  1. 请在此页面订阅，并准备好一个 API Key

• 步骤 2: 环境准备

  在备案所在的区域，准备一台 Amazon Linux 2023 的 EC2（规格推荐: M6i.large)，并保证至少有 100GB 的 EBS。确保该 EC2 部署在公有子网中。
  进入控制台，在上方搜索栏输入搜索 EC2，选择 EC2 服务进入。点击启动实例，创建新实例
  

  

  选择镜像：选择 Amazon Linux 2023 AMI

  

  选择实例类型：搜索框中输入 m6i，选择推荐机型 M6i.large

  

  密钥对创建：如果此处您已经有创建的密钥对可以直接选择，后续使用 SSH 登陆到 EC2，需要选择相同密钥对进行登陆；如果您暂时没有密钥对，点击创建新密钥对，创建成功并保存到本地用于后续使用 SSH 登陆时使用。
  网络设置：选择您的公有子网，确保您的 EC2 创建后能被公网访问
  

  

  配置存储：请修改存储配置到 100GB（推荐大小）

  

  点击右下角启动实例
  

  

  实例列表中显示正在运行，证明实例创建成功。
  连接到 EC2 的方式：
  SSH登陆 EC2：ssh -i "xxx.pem" ec2-user@public ip address
  若遇到“Permissions 0644 for 'xxx.pem' are too open”的问题，请修改密钥权限 chmod 400 xxx.pem
  

• 步骤 3: 安装所需的依赖项

  执行以下命令以安装 Python、Git、npm、Docker 等依赖项。如果这些依赖项已经安装，可以跳过此步骤。setup_env.sh 脚本适配 Amazon Linux 2023，如果您使用其他操作系统，请手动安装这些依赖。

  wget https://aws-gcr-industry-assets.s3.cn-northwest-1.amazonaws.com.cn/mfg-kb-code/setup_env.sh
  sh setup_env.sh

  Code snippet copied

  复制

  执行以下命令安装 Amazon CLI 工具（请跳过此步骤如果您已经安装）。

  curl "https://awscli.amazonaws.com/awscli-exe-linux-x86_64.zip" -o "awscliv2.zip"
  unzip awscliv2.zip
  sudo ./aws/install

  Code snippet copied

  复制

  （可选）如果您已经有一个拥有一个有 Admin 权限的 IAM User/IAM Role，请跳至步骤 4 继续。如果没有，请您通过 IAM 进行创建。
  在搜索栏搜索 IAM，选择 IAM 服务。
  

  

  进入 IAM 控制面板，创建用户。
  

  

  完成用户创建后，进入用户，点击添加权限，并附加 AdministratorAccess 权限策略，创建访问密钥（AKSK）并下载保存。
  

  

  执行 aws configure
  输入 IAM User 的 access key, secret access key 和 default region, region 为 cn-north-1（北京）或者 cn-northwest-1（宁夏）
  

  aws configure
  aws iam create-service-linked-role --aws-service-name opensearchservice.amazonaws.com

  Code snippet copied

  复制

  如果您无法使用 IAM User， 也可以选择在 EC2 服务器上绑定 IAM Role（该 Role 需要有 Admin 权限）

• 步骤 4: 添加 Secret

  切换到方案部署的区域，进入 Secret manager，选择其他类型 secret
  Key/value pairs: key 对应的填 key，value 填写您在步骤一中获取的硅基流动 api key。
  注意：secret name 必须是 siliconflow-api-key，不能填其他名称
  

  

• 步骤 5: 再次检查 ICP Exception 及域名

  请确保您部署此方案的亚马逊云科技中国区域账号已经进行过 ICP Exception 或 ICP 备案。在方案部署完成后，会自动创建一个 CloudFront 分配，您需要对其关联一个可用域名
  

• 步骤 6: 在目标账户和区域上引导 Amazon CDK

  注意：如果已经安装过 CDK，则可忽略此步骤。
  如果这是您的账户首次使用 CDK 部署资源，请参考此文档进行 CDK bootstrap。(约 1 分钟)
  

  npx cdk bootstrap aws://<Your account ID>/<Region>

  Code snippet copied

  复制

• 步骤 7: 克隆代码

  python3 -m venv mfg-kb-env
  cd mfg-kb-env
  source bin/activate
  wget https://aws-gcr-industry-assets.s3.cn-northwest-1.amazonaws.com.cn/mfg-kb-code/deepseek-on-aws-workshop.zip
  unzip deepseek-on-aws-workshop.zip
  cd Intelli-Agent-gcr-custom

  Code snippet copied

  复制

• 步骤 8: 进入 source/infrastructure 目录

  cd source/infrastructure

  Code snippet copied

  复制

• 步骤 9: 安装项目依赖

  npm cache clean --force
  npm config set registry https://registry.npmmirror.com/
  npm install
  export CDK_MAX_RETRY_ATTEMPTS=3
  export CDK_RETRY_BACKOFF_RATE=1.5

  Code snippet copied

  复制

• 步骤 10: 运行配置命令以设置所需功能的解决方案

  npm run config

  Code snippet copied

  复制

  运行以上命令后会返回一系列问题, 请在第二个问题中输入您的邮箱，其余问题请直接回车，使用默认值
  输入信息后，配置文件 config.json 将生成在 [source/infrastructure/bin]目录中。您可以重新运行 npm run config 命令或修改此文件以自定义解决方案配置。
  

• 步骤 11: 准备所需的部署资源，包括前端和模型资产

  npm run build

  Code snippet copied

  复制

• 步骤 12: 部署解决方案

  npx cdk deploy --require-approval never --all

  Code snippet copied

  复制

• 步骤 13: 确认部署结果

  部署后，您可以在 CloudFormation 控制台中找到包含 ai-customer-service 的堆栈。在堆栈的 Output 标签页中，您可以找到关键的解决方案信息，常用的信息解释如下：
  

  	A	B
  1	名称	描述
  2	WebPortalURL	Intelli-Agent 前端网站链接。
  3	APIEndpointAddress	RESTful API 地址，主要用于数据预处理、聊天记录等功能。
  4	WebSocketEndpointAddress	WebSocket API 地址，主要用于聊天功能。

  部署成功后，您可以在 Cloudformation 中找到如下堆栈：
  

  

• 步骤 14: 关联域名

  进入 CloudFront 控制台，根据上一步的 WebPortalURL 找到其 CloudFront 分配
  点击编辑按钮，将您的域名添加到 Alternate domain name (CNAME) 中，生效后即可以通过域名来访问本方案。
  

  

• 步骤 15: 进入知识库

  通过浏览器输入部署步骤-步骤14中您关联的域名网址进入首页
  

  

• 步骤 16: 创建聊天机器人

  选择左侧边栏 设置 > 聊天机器人，进入到聊天机器人页面

  

  点击右上角创建聊天机器人，填写机器人名称（自定义），模型供应商选择 SageMaker，向量化模型选择 BCEmbedding，点击右下角创建聊天机器人。

  

  在聊天机器人的列表中已经列出新创建的聊天机器人，创建完成
  

  

• 步骤 17: 创建文档库

  选择左侧边栏 设置 > 文档库，进入页面，点击右上角创建文档按钮

  

  点击右上角创建文档，点击选择文件上传文本，点击附加设置，您可以查看这个文件要注入到哪个聊天机器人的知识库，以及索引类型。索引类型固定选择 qd 索引类型。

  

  点击上传后等待上传完成，根据文件大小上传时间为 2-10 分钟（PDF 文件相对偏慢）
  点击刷新查看是否上传完成，文档处理完成后状态如下：
  注意：本页面不会自动刷新，请不定时刷新界面。
  上传文本无需等待文件完全上传完成，可以同时同步上传多个文档。
  

  

• 步骤 18: 开启会话

  选择左侧边栏 聊天 > 提示词，进入会话页面，选择刚才步骤 1 创建的聊天机器人。

  

  展开配置，配置硅基流动 api，在 api 端点中输入 https://api.siliconflow.cn/v1，API 密钥 ARN 填入在安装步骤 > 环境准备 > 步骤 4 中在 Secret manager 配置的密钥 ARN

  

  会话配置完成，可以从输入框输入消息开启对话
  

  

  

• 步骤 19: 卸载解决方案

  执行以下命令以卸载本解决方案。
  

  npx cdk destroy --require-approval never --all

  Code snippet copied

  复制

  如果删除失败, 请检查 Root Cause 是否为 Subnet/ENI 删除失败, 可以手动删除 ENI 和 Subnet 后再继续删除堆栈。
  

总结