直播安排¶
| 直播训练营 | 描述 | 形式 |
|---|---|---|
| 大模型本地部署与 AI 应用管理平台 | 大模型私有部署 大模型管理平台 提示词工程 RAG GraphRAG | 项目实战 |
| 基于 RAG 的 AI 业务知识库助理 | 嵌入 嵌入模型 向量存储 RAG GraphRAG 知识图谱 | 项目实战 |
| ReACT 自动化智能体与工具开发体系 | 提示词工程、智能体、Web 自动化工具 MCP、自定义工具开发、MCP 协议 | 项目实战 |
| 人工智能系统的测试方法 | 人工智能系统原理 数据集 测试集 评测方法 评估指标 | 项目实战 |
| 业务测试用例生成智能体 | 文档与网页处理 RAG GraphRAG 测试用例推理生成方法 | 项目实战 |
| Web/App/接口测试自动化智能体 | 测试自动化上下文工程、Web/App/接口自动化框架、自动化工具服务开发 | 项目实战 |
| AI 爬虫与知识图谱 | Ai 爬虫工具、数据处理、知识图谱构建 | 项目实战 |
| 基于知识图谱的测试用例生成 | 知识图谱算法、深度测试用例生成 | 项目实战 |
| 智能化测试落地经验分享（一）：AI测试应用探索 | 知名企业的智能化测试落地经验分享、架构、技术、流程、效果 | 项目实战 |
| 智能化测试落地经验分享（二）：人工智能相关平台 | 知名企业的智能化测试落地经验分享、架构、技术、流程、效果 | 项目实战 |
| 智能化测试落地经验分享（三）：大模型性能测试 | 知名企业的智能化测试落地经验分享、架构、技术、流程、效果 | 项目实战 |
| 智能化测试落地经验分享（四）：AI驱动的软件研发效能提升方案 | 知名企业的智能化测试落地经验分享、架构、技术、流程、效果 | 项目实战 |
大模型与 AIGC 应用体系¶
大模型 提示词工程 工具 智能体 工作流，掌握如何私有部署自己的大模型应用体系
L1. 大语言模型与私有部署¶
| 形式 | 章节 | 描述 | 标签 |
|---|---|---|---|
| 知识点 | openai chatgpt 大语言模型 | chatgpt 模型体系 提示词 参数 调用方法 | |
| 知识点 | 阿里 qwen 千问大模型 | qwen 模型体系 提示词 参数 调用方法 | |
| 知识点 | meta llama 大模型 | llama 模型体系 提示词 参数 调用方法 | |
| 知识点 | google gemini 大模型 | gemini 模型体系 提示词 参数 调用方法 | 选学 |
| 知识点 | 法国 mixtral 大模型 | mixtral 模型体系 提示词 参数 调用方法 | 选学 |
| 知识点 | 大模型管理平台 Ollama | 量化模型介绍 本地部署方法 | |
| 知识点 | llama 大模型私有部署 | llama 模型下载 本地调用 | |
| 知识点 | deepseek 大模型私有部署 | deepseek 模型下载 本地调用 | |
| 知识点 | 阿里 qwen 千问大模型私有部署 | qwen 模型下载 本地调用 | |
| 知识点 | 人工智能应用平台 Dify | 大模型配置 工具管理 知识库管理 ai 应用开发 | |
| 知识点 | dify AI 聊天助理应用开发 | 大模型对接 参数配置 ai 对话提示词 | |
| 知识点 | 人工智能应用平台 Coze | 字节跳动 coze studio | |
| 知识点 | google gemma 大模型私有部署 | gemma 模型下载 本地调用 | 选学 |
| 知识点 | hugging-face 大模型开发平台 | 模型体系 工具 | 选学 |
| 知识点 | 魔搭大模型管理平台 | 国内下载大模型的平台 模型体系 工具 | 选学 |
| 知识点 | 大语言模型微调 LLaMA-Factory | 模型微调 微调配置 | 选学 |
L2.大语言模型提示词工程¶
| 形式 | 章节 | 描述 | 标签 |
|---|---|---|---|
| 知识点 | 大语言模型提示词工程 | 大模型参数 提示词理解 提示词工程方法 | |
| 知识点 | ReACT 推理模式 | Thought 想法 Action 心动 Observation 观测 提示词写法 | |
| 知识点 | AutoGPT 自动推理智能体 | 智能体启蒙之作 autogpt 的使用介绍 | 选学 |
| 知识点 | 使用工具的自动推理 | 工具使用提示词 工具函数定义 | |
| 知识点 | 代码自动生成 | 生成代码 指定语言 | 选学 |
| 知识点 | 数据自动生成 | 生成数据 格式要求 | 选学 |
| 知识点 | 检索增强生成(RAG) | RAG 提示词 上下文 提示词策略 | |
| 知识点 | 基于 RAG 业务知识库 AI 助理应用开发 | 知识库 文档上传分割 RAG 提示词 应用开发 |
L3. 人工智能应用开发¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | AI 工作流应用开发 | 工作流介绍 节点类型 流程编排 |
| 知识点 | 智能体 Agent 介绍 | 智能体核心要素 提示词工程 推理方法 记忆体 |
| 知识点 | AI 智能体应用开发 | 工具体系 智能体 ReAct 提示词工程 |
| 知识点 | mcp 协议介绍 | mcp 协议 inspector 开发框架 |
| 知识点 | playwright mcp 工具 | 原理 关键工具 集成 自然语言驱动 web 执行 |
| 知识点 | browser-use 智能体 | 原理 应用 mcp 工具 集成 自然语言驱动 web 执行 |
| 知识点 | 接口自动化智能体工具 | swagger 自定义工具 |
L4. 多模态大模型与私有部署¶
| 形式 | 章节 | 描述 | 标签 |
|---|---|---|---|
| 知识点 | 语音识别模型 | 选学 | |
| 知识点 | 视觉识别大模型 | 选学 | |
| 知识点 | 文生图大模型 | 选学 | |
| 知识点 | 文生视频大模型 | 选学 | |
| 知识点 | 文生图大模型 Stable Diffusion 部署 | 选学 | |
| 知识点 | 文生图大模型 Flux 部署 | 选学 | |
| 知识点 | 文生图大模型 CogView 部署 | 选学 | |
| 知识点 | 文生视频大模型部署 | 选学 | |
| 知识点 | 多模态大模型开发 HuggingFace | 选学 |
L5. AI Agent 智能体应用¶
| 形式 | 章节 | 描述 | 标签 |
|---|---|---|---|
| 知识点 | Web 自动化智能体 | 基于 Web 自动化框架的智能体 | |
| 知识点 | App 自动化智能体 | 基于 App 自动化框架的智能体 | |
| 知识点 | 接口自动化智能体 | 基于接口自动化框架的智能体 | |
| 知识点(选学) | Dify 插件开发体系 | 自定义工具 接口开发 swagger 规范 | |
| 知识点 | 办公自动化智能体 | 电脑操作 | 选学 |
| 知识点 | 图文文章生成智能体 | 文生图 图片搜索结合智能体 | 选学 |
| 知识点 | 流程图生成智能体 | plantuml 图表生成 | 选学 |
| 知识点 | 短视频生成智能体 | moviepy 视频剪辑工具封装 | 选学 |
人工智能应用开发体系¶
掌握大模型开发的基本框架，LangChain LangGraph 等框架，为后续打造自己的智能体夯实基础
L1. 大语言模型开发框架 LangChain¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 大语言模型应用开发框架 LangChain | |
| 知识点 | LangChain 提示词+大语言模型应用 | |
| 知识点 | LangChain LCEL 表达式语言 | |
| 知识点 | LangChain ModelsIO 简介 | |
| 知识点 | LangChain ModelsIO Prompts | |
| 知识点 | LangChain ModelsIO LLM | |
| 知识点 | LangChain ModelsIO ChatModels | |
| 知识点 | LangChain ModelsIO OutputParsers |
L2. RAG 应用开发框架¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | LangChain 核心模块 Chains | |
| 知识点 | 向量存储体系 | |
| 知识点 | LangChain 核心模块 Retrieval | |
| 知识点 | LangChain 核心组件 Tools | |
| 知识点 | LangChain 核心模块 Agents | |
| 知识点 | LangChain 核心模块 Memory | |
| 知识点 | 基于需求文档、设计文档、测试用例的测试答疑助手 | |
| 知识点 | 基于 LangChain 实现数据库操作的智能体 | |
| 知识点 | 结合 LangChain 实现网页数据爬取 |
L3. 智能体 AI Agent 开发框架¶
| 形式 | 章节 | 描述 | 标签 |
|---|---|---|---|
| 知识点 | AI 智能体开发框架 LangGraph | ||
| 知识点 | 工具调用体系 Tool Toolkit | ||
| 知识点 | MCP 协议与工具开发 | ||
| 知识点 | 多智能体开发 | 选学 |
L4. AI 应用平台开发框架¶
| 形式 | 章节 | 描述 | 标签 |
|---|---|---|---|
| 知识点 | API 开发框架 FastAPI | ||
| 知识点 | 大模型前端开发框架 Gradio | 选学 | |
| 知识点 | 数据交互应用开发框架 Streamlit | 选学 | |
| 知识点 | 全栈开发框架 Flask | 选学 | |
| 知识点 | 全栈开发框架 Dash | 选学 |
L5. 自动化智能体开发¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | Web 自动化智能体开发 | |
| 知识点 | app 自动化智能体开发 | |
| 知识点 | 接口自动化智能体开发 |
智能化测试体系¶
测试用例生成智能体、测试用例执行智能体、业务知识图谱，利用 Ai 赋能软件测试
L1. 基于 RAG 的测试用例生成 AI 助理¶
教学目标¶
- 掌握RAG、嵌入模型、向量存储的基本使用
- 掌握网页、pdf 等常见文档格式的信息提取和分段方法
- 掌握 web app 接口的基于文档的自动化用例生成方法
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 手工测试用例生成 | 业务测试用例生成方法 |
| 知识点 | Web 自动化测试生成 | 基于网页生成自动化测试用例 |
| 知识点 | App 自动化测试生成 | 基于 app 界面生成自动化测试用例 |
| 知识点 | 接口自动化测试生成 | 基于文档生成接口自动化用例 |
L2. 软件测试自动化框架¶
教学目标¶
- 了解自动化框架的设计与封装方法
- 了解自动化工具的基本封装思路
| 形式 | 章节 | 描述 | 标签 |
|---|---|---|---|
| 知识点 | 数据驱动测试自动化框架 | yaml 数据驱动 框架设计与封装 测试框架基本要素 | 选学 |
| 知识点 | web 测试自动化框架 | 数据驱动与 web 自动化结合 | 选学 |
| 知识点 | app 测试自动化框架 | 数据驱动与 app 自动化结合 | 选学 |
| 知识点 | 接口测试自动化框架 | 数据驱动与接口自动化结合 | 选学 |
L3. 软件测试自动化智能体¶
教学目标¶
- 掌握自定义工具的应用
- 掌握 ReAct 智能体的基本使用方法
- 掌握 Web App 接口自动化智能体的开发方法
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | Web 测试自动化智能体 | ReAct 智能体 Web 自动化工具 |
| 知识点 | app 测试自动化智能体 | ReAct 智能体 App 自动化工具 |
| 知识点 | 接口 测试自动化智能体 | ReAct 智能体 接口自动化工具 swagger |
L4.知识图谱与模型驱动测试¶
教学目标¶
- 掌握知识图谱的概念与结构
- 掌握知识图谱系统的搭建方法
- 掌握知识图谱的编程构建方法
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 知识图谱介绍 | spo rdf neo4j cypher |
| 知识点 | 知识图谱编程 | pyneo neo4j ogm |
| 知识点 | 被测系统的业务知识图谱构建 | 爬虫 图谱结构定义 图谱保存 |
| 知识点 | 爬虫与智能遍历 | 爬虫原理 核心逻辑 图谱结构定义 |
L5.业务知识图谱¶
价值¶
- 了解基于知识图谱的用例生成方法
- 了解基于知识图谱的自动化用例生成方法
- 了解模型驱动测试概念与工具
- 了解模型驱动测试与知识图谱的关系
| 形式 | 章节 | 描述 | 标签 |
|---|---|---|---|
| 知识点 | 基于图谱的测试用例生成智能体 | 知识图谱 用例生成算法 | |
| 知识点 | Web 自动化测试用例生成智能体 | web 知识图谱结构 用例生成算法 | |
| 知识点 | App 自动化测试用例生成智能体 | app 知识图谱结构 用例生成算法 | |
| 知识点 | 接口自动化测试用例生成智能体 | 接口知识图谱结构 用例生成算法 | |
| 知识点 | 模型驱动测试体系介绍 | 模型驱动测试 领域建模 映射 用例生成 | 选学 |
| 知识点 | 模型驱动测试框架 altwalker | 基于 python 的模型驱动测试实践 | 选学 |
| 知识点 | 模型驱动测试框架 graphwalker | 基于 java 的模型驱动测试实践 | 选学 |
人工智能产品测试¶
教学目标¶
- 了解人工智能系统的基本概念
- 了解特征与模型在人工智能中如何运作并产生价值
- 了解数据集的基本分类与概念
- 了解通用人工智能系统的测试方法与测试数据体系
L1.人工智能概念基础¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 专家系统与机器学习的概念 | |
| 知识点 | 特征的概念：离散与连续 | |
| 知识点 | 模型：特征与权重的数据库 | |
| 知识点 | 最简单的算法：逻辑回归的介绍 | 。 |
| 知识点 | 超参数 | |
| 知识点 | 信用卡反欺诈详解 | |
| 知识点 | 推荐系统详解 |
L2.人工智能系统架构¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 人工智能与大数据 | 讲解为什么人工智能=大数据+机器学习。人工智能与大数据有着何种关系。在一个人工智能系统中，大数据模块都发挥着怎样的作用。 |
| 知识点 | 人工智能中的云计算与边缘计算 | 讲解云计算与边缘计算在人工智能场景中的设计 |
| 知识点 | 自学习与数据闭环 | 描述自学习的概念，讲解自学习场景下如何保证数据质量，企业如何构建数据闭环以及数据质量监控。 |
| 知识点 | 模型的实时训练与更新（迁移学习） | 讲解 parameter server 的作用，系统如何利用 parameter server 进行实时训练与迁移学习 |
L3.数据质量¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 数据的重要性：训练集，验证集，测试集 | 讲解各个数据集不同的使用场景以及如何拆分不同的数据集。 |
| 知识点 | 选取数据的注意点 | 讲解采集数据集时的注意事项。 |
| 知识点 | 详解数据分布带来的性能差异 | 从原理上讲解应该如何设计性能测试场景 |
| 知识点 | 数据质量保证 | 讲解如何使用 spark 技术验证数据质量 |
L4.计算机视觉¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 神经网络与深度学习 | 神经网络的概念，它与深度学习是什么关系 |
| 知识点 | 图像处理与卷积神经网络 | 卷积神经网络的概念， 它与普通的神经网络有何不同。 |
| 知识点 | 目标检测 | 讲解常见的计算机视觉的业务场景，计算原理和测试指标。 |
| 知识点 | OCR | 讲解 OCR 的业务场景，实现原理和测试指标。 |
| 知识点 | 再提边缘计算 | 讲解计算机视觉场景下的边缘计算与测试场景。 |
| 知识点 | 大模型（选修） | 介绍大模型的原理以及测试方法。 |
L5.大模型测评与测试¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 大语言模型测评 | |
| 知识点 | 通用人工智能系统的测评 | |
| 知识点 | 大数据在人工智能测试中的应用 |
视觉与图像识别自动化测试¶
L1.人工智能在音频、视觉、多模态领域的应用¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 音频转文字 | Whisper 介绍 |
| 知识点 | 文字转语音 | openai、语音模型 |
| 知识点 | 图像识别 | 视觉模型 零样本识别 图片分类 |
| 知识点 | 文生图 | Dall-E |
| 知识点 | 文生视频 | Sora |
L2.视觉识别在自动化测试中的应用¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 基于视觉模型的目标检测技术在自动化测试中的应用 | 视觉模型、图像目标检测、自动化测试、图片内容断言 |
| 知识点 | 基于图片的可视化测试技术在自动化测试中的应用 | 图像对比、基于图片的功能测试、可视化测试、APP 自动化测试 |
| 知识点 | 基于 OCR 识别方法的自动化测试 | |
| 知识点 | Airtest 游戏自动化测试框架 | 图像识别、游戏测试、POCO |
L3.计算机视觉¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 当前 UI 自动化测试技术概览及瓶颈分析 | 常见 UI 自动化框架工具及技术原理，前端 UI 自动化面临瓶颈点讲解：可测性、维护成本、场景理解、召回能力 |
| 知识点 | 基于传统的视觉 CV 处理技术 | 软件工程视角，解读基于传统视觉算法的 CV 技术，包括边缘检测、霍夫曼直线检测、模版匹配、SIFT 尺度不变特征变换检测、图像金字塔模型 |
| 知识点 | 基于机器学习的视觉 CV 处理技术 | 软件工程视角，解读基于深度卷积神经网络的视觉应用场景，图像聚类、图像去噪、目标检测、图像分割 |
L4.UI 视觉分析服务¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | UI 页面理解技术介绍 | 为什么要做基于视觉的页面理解技术？UI页面结构树逆向解析是解决传统自动化瓶颈的关键技术之一。进一步讲解页面理解技术原理。 |
| 知识点 | UI 页面结构树之逆向解析技术 | 介绍页面结构树逆向技术的设计思路和关键步骤，基础切分、属性判断、区域划分、结果封装。 |
| 知识点 | UI 页面理解技术之服务化 | 介绍使用Python Opencv搭建UI视觉分析程序服务的设计思路，包括服务架构、出入参统一设计，入参多类型、多数量图片下载支持、插件机制等。 |
L5.UI 和自动化结合的案例实践¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 【可测性】基于无监督深度特征的视觉识别技术 | PyTorch 构建模型，实现无监督的模版匹配技术。 |
| 知识点 | 【场景理解】视觉场景案例之响应时间分析和弹窗检测 | 构建响应时间性能测试解决方案，使用 TensorFlow 完成（弹窗截图）目标检测模型和分类模型的应用，模型推理加速技术尝试。 |
| 知识点 | 【召回技术】视觉召回技术之有参照 UIDiff 检测技术 | 兼容机型下的 App 页面的智能视觉 Diff 检查解决方案，在自研数据集下进行验证有效性。 |
| 知识点 | 【召回技术】视觉召回技术之无参照模型预测技术 | 基于历史数据构建数据集，使用 Pytorch 构建异常页面、元素检测模型，实现异常元素的召回及可视化。 |
| 知识点 | 【综合案例】基于深度学习的遍历动作推荐实践 | 基于开源 RICO 数据集，使用 TensorFlow 和 Keras 构建深度学习网络模型，对时序 App 页面截图进行动作推荐预测，实现拟人化的智能遍历。 |