直播安排¶
| 直播训练营 | 形式 |
|---|---|
| 大语言模型与 AIGC 的应用 | 直播 |
| 大语言模型提示词工程 ReACT 推理 RAG 知识图谱 | 直播 |
| 人工智能应用开发平台与智能体 Agent 工作流 | 直播 |
| 人工智能工具插件开发与测试自动化框架 | 直播 |
| 大语言模型应用开发框架 | 直播 |
| 知识库应用开发与知识图谱应用开发 | 直播 |
| 人工智能的测试方法与评估指标 | 直播 |
| 深度学习、大数据技术在人工智能系统测试中的应用 | 直播 |
| 业务知识图谱构建与业务功能测试用例智能生成 | 直播 |
| 基于知识图谱的自动化测试用例智能生成 | 直播 |
| 测试用例生成经验分享 | 直播 |
| 测试用例生成经验分享 | 直播 |
| AI自动化智能体经验分享 | 直播 |
| AI自动化智能体经验分享 | 直播 |
| 知识图谱应用分享 | 直播 |
| 知识图谱应用分享 | 直播 |
大模型与 AIGC 应用体系¶
L1. 国内外大模型应用¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | openai chatgpt 大语言模型 | |
| 知识点 | 法国 mixtral | |
| 知识点 | meta llama 大模型 | |
| 知识点 | 阿里通义千问大模型 | |
| 知识点 | 智谱 AI 大模型 | |
| 知识点 | 语音识别模型 | |
| 知识点 | 视觉识别大模型 | |
| 知识点 | 文生图大模型 | |
| 知识点 | 文生视频大模型 |
L2.大语言模型提示词工程¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 大语言模型提示词工程 | |
| 知识点 | ReACT 推理模式 | |
| 知识点 | AutoGPT 智能体 | |
| 知识点 | 检索增强生成(RAG) | |
| 知识点 | 知识图谱介绍 |
L3.人工智能应用开发平台¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 大模型管理平台 | |
| 知识点 | llama 大模型部署 | |
| 知识点 | 千问大模型部署 | |
| 知识点 | ChatGLM 大模型部署 | |
| 知识点 | 人工智能应用管理平台 |
L4. 多模态大模型私有部署¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 文生图大模型 Stable Diffusion 部署 | |
| 知识点 | 文生图大模型 Flux 部署 | |
| 知识点 | 文生图大模型 CogView 部署 | |
| 知识点 | 文生视频大模型部署 | |
| 知识点 | hugging-face 大模型开发平台 | |
| 知识点 | 魔搭大模型管理平台 |
L5.智能体 Agent 与工作流应用¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 智能体 Agent 介绍 | |
| 知识点 | 图文文章生成智能体 | |
| 知识点 | 流程图生成智能体 | |
| 知识点 | 短视频生成智能体 | |
| 知识点 | Web 自动化智能体 | |
| 知识点 | App 自动化智能体 | |
| 知识点 | 接口自动化智能体 | |
| 知识点 | 办公自动化智能体 |
人工智能应用开发体系¶
L1.人工智能平台插件开发¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 人工智能应用管理平台工具插件开发体系 | |
| 知识点 | AI 工具 web 测试自动化框架 | |
| 知识点 | AI 工具 app 测试自动化框架 | |
| 知识点 | AI 工具 接口测试自动化框架 |
L2. 大语言模型应用开发框架¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 大语言模型应用开发框架 LangChain | |
| 知识点 | LangChain 提示词+大语言模型应用 | |
| 知识点 | LangChain LCEL 表达式语言 | |
| 知识点 | LangChain ModelsIO 简介 | |
| 知识点 | LangChain ModelsIO Prompts | |
| 知识点 | LangChain ModelsIO LLM | |
| 知识点 | LangChain ModelsIO ChatModels | |
| 知识点 | LangChain ModelsIO OutputParsers | |
| 知识点 | LangChain 核心模块 Chains | |
| 知识点 | LangChain 核心模块 Retrieval | |
| 知识点 | LangChain 核心组件 Tools | |
| 知识点 | LangChain 核心模块 Agents | |
| 知识点 | LangChain 核心模块 Memorys | |
| 知识点 | AI 智能体开发框架 LangGraph | |
| 知识点 | 基于需求文档、设计文档、测试用例的测试答疑助手 | |
| 知识点 | 基于 LangChain 实现数据库操作的智能体 | |
| 知识点 | 结合 LangChain 实现网页数据爬取 |
L3. 智能体 AI Agent 开发框架¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 手工测试用例生成 | |
| 知识点 | 手工测试用例的 AI 自动化执行 | |
| 知识点 | Web 自动化测试生成 | |
| 知识点 | App 自动化测试生成 | |
| 知识点 | 接口自动化测试生成 | |
| 知识点 | 基于任务驱动的自动化 Agent |
L4. 智能体 AI Agent 开发框架¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 多模态大模型开发 HuggingFace | |
| 知识点 | 多模态大模型开发 ModelScope | |
| 知识点 | 大模型前端开发框架 Gradio | |
| 知识点 | 数据交互应用开发框架 Streamlit | |
| 知识点 | 全栈开发框架 Flask | |
| 知识点 | API 开发框架 FastAPI | |
| 知识点 | 原始低代码开发框架 Dash |
L5. 智能体 AI Agent 开发框架¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 向量存储体系 | |
| 知识点 | 知识库应用开发 | |
| 知识点 | 知识图谱应用开发 | |
| 知识点 | 领域建模实战 |
软件测试开发人工智能化体系¶
L1.知识图谱构建与用例智能生成¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 被测系统的业务知识图谱构建 | |
| 知识点 | 爬虫与智能遍历 | |
| 知识点 | 业务功能测试用例智能生成 |
L2.自动化测试用例智能生成¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 接口自动化测试用例智能推理生成 | |
| 知识点 | Web 自动化测试用例智能推理生成 | |
| 知识点 | App 自动化测试用例智能推理生成 |
L3.知识图谱与模型驱动测试¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 模型驱动测试体系介绍 | |
| 知识点 | 模型驱动测试框架 altwalker | |
| 知识点 | 模型驱动测试框架 graphwalker | |
| 知识点 | 知识图谱与模型驱动测试应用 |
L4.大语言模型微调¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 大语言模型微调 LLaMA-Factory | |
| 知识点 | Llama 模型微调 | |
| 知识点 | chatglm 模型微调 | |
| 知识点 | 千问模型微调 |
L5.大模型测评与测试¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 人工智能在学术界的应用 | |
| 知识点 | 大语言模型测评 | |
| 知识点 | 通用人工智能系统的测评 | |
| 知识点 | 大数据在人工智能测试中的应用 |
人工智能产品测试¶
L1. 人工智能概念基础¶
价值¶
- 了解人工智能基本概念
- 了解特征与模型在人工智能中如何运作并产生价值
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 专家系统与机器学习的概念 | 从专家系统到机器学习的转变，讲解人工智能的历史，带领大家了解人工智能都在做什么事情，通过什么策略解决现实中的问题。 |
| 知识点 | 特征的概念：离散与连续 | 讲解在机器学习中特征的含义，什么是离散特征，什么是连续特征。 |
| 知识点 | 模型：特征与权重的数据库 | 讲解模型是通过什么原理帮助业务解决问题。 |
L2. 算法与业务场景详解¶
价值¶
- 了解人工智能算法的基本原理，了解算法如何解决实际的问题。
- 结合算法原理了解在实际的项目中算如何帮助业务解决问题。
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 最简单的算法：逻辑回归的介绍 | 讲解如何统计混淆矩阵来帮助分析模型的效果。 |
| 知识点 | 超参数 | 详细讲解如何通过混淆矩阵来统计精准，召回和 F1 score 作为模型评估指标。 |
| 知识点 | 信用卡反欺诈详解 | 简单讲解 ROC 与 AUC 的含义。 |
| 知识点 | 推荐系统详解 | 如何通过分组 AUC 从不同的维度验证模型的能力。 |
L3. 人工智能系统架构¶
价值¶
- 了解成熟的人工智能系统的业务形态。
- 了解成熟的人工智能系统所使用的架构设计。
- 了解大数据技术在人工智能系统中的作用，以及测试人员要如何去学习并开展大数据相关的测试活动。
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 人工智能与大数据 | 讲解为什么人工智能=大数据+机器学习。人工智能与大数据有着何种关系。在一个人工智能系统中，大数据模块都发挥着怎样的作用。 |
| 知识点 | 人工智能中的云计算与边缘计算 | 讲解云计算与边缘计算在人工智能场景中的设计 |
| 知识点 | 自学习与数据闭环 | 描述自学习的概念，讲解自学习场景下如何保证数据质量，企业如何构建数据闭环以及数据质量监控。 |
| 知识点 | 模型的实时训练与更新（迁移学习） | 讲解 parameter server 的作用，系统如何利用 parameter server 进行实时训练与迁移学习 |
L4. 数据质量¶
价值¶
- 了解根据大数据和人工智能的特点如何采集并拆解测试数据。
- 了解在人工智能系统中数据质量的作用，并学会如何开展相关的数据质量保障工作。
- 通过大数据与模型的特点讲述在人工智能场景中应该根据什么样的规则构建性能测试场景，又应该如何构建相关测试数据。
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 数据的重要性：训练集，验证集，测试集 | 讲解各个数据集不同的使用场景以及如何拆分不同的数据集。 |
| 知识点 | 选取数据的注意点 | 讲解采集数据集时的注意事项。 |
| 知识点 | 详解数据分布带来的性能差异 | 从原理上讲解应该如何设计性能测试场景 |
| 知识点 | 数据质量保证 | 讲解如何使用 spark 技术验证数据质量 |
L5. 计算机视觉¶
价值¶
- 了解人工智能如何解决计算机视觉场景的问题。
- 了解在计算机视觉场景下如何开展相关测试活动。
- 了解在计算机视觉场景下的边缘计算与测试场景。
- 了解在计算视觉场景下如何构建和处理测试数据。
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 神经网络与深度学习 | 神经网络的概念，它与深度学习是什么关系 |
| 知识点 | 图像处理与卷积神经网络 | 卷积神经网络的概念， 它与普通的神经网络有何不同。 |
| 知识点 | 目标检测 | 讲解常见的计算机视觉的业务场景，计算原理和测试指标。 |
| 知识点 | OCR | 讲解 OCR 的业务场景，实现原理和测试指标。 |
| 知识点 | 再提边缘计算 | 讲解计算机视觉场景下的边缘计算与测试场景。 |
| 知识点 | 大模型（选修） | 介绍大模型的原理以及测试方法。 |
视觉与图像识别自动化测试¶
L1.人工智能在音频、视觉、多模态领域的应用¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 音频转文字 | Whisper 介绍 |
| 知识点 | 文字转语音 | openai、语音模型 |
| 知识点 | 图像识别 | 视觉模型 零样本识别 图片分类 |
| 知识点 | 文生图 | Dall-E |
| 知识点 | 文生视频 | Sora |
L2.视觉识别在自动化测试中的应用¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 基于视觉模型的目标检测技术在自动化测试中的应用 | 视觉模型、图像目标检测、自动化测试、图片内容断言 |
| 知识点 | 基于图片的可视化测试技术在自动化测试中的应用 | 图像对比、基于图片的功能测试、可视化测试、APP 自动化测试 |
| 知识点 | 基于 OCR 识别方法的自动化测试 | |
| 知识点 | Airtest 游戏自动化测试框架 | 图像识别、游戏测试、POCO |
| 知识点 | 基于图像识别商业模型的自动化测试 Agent 应用 | 腾讯 AppAgent、gpt4v |
L3.计算机视觉¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 当前 UI 自动化测试技术概览及瓶颈分析 | 常见 UI 自动化框架工具及技术原理，前端 UI 自动化面临瓶颈点讲解：可测性、维护成本、场景理解、召回能力 |
| 知识点 | 基于传统的视觉 CV 处理技术 | 软件工程视角，解读基于传统视觉算法的 CV 技术，包括边缘检测、霍夫曼直线检测、模版匹配、SIFT 尺度不变特征变换检测、图像金字塔模型 |
| 知识点 | 基于机器学习的视觉 CV 处理技术 | 软件工程视角，解读基于深度卷积神经网络的视觉应用场景，图像聚类、图像去噪、目标检测、图像分割 |
L4.UI 视觉分析服务¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | UI 页面理解技术介绍 | 为什么要做基于视觉的页面理解技术？UI页面结构树逆向解析是解决传统自动化瓶颈的关键技术之一。进一步讲解页面理解技术原理。 |
| 知识点 | UI 页面结构树之逆向解析技术 | 介绍页面结构树逆向技术的设计思路和关键步骤，基础切分、属性判断、区域划分、结果封装。 |
| 知识点 | UI 页面理解技术之服务化 | 介绍使用Python Opencv搭建UI视觉分析程序服务的设计思路，包括服务架构、出入参统一设计，入参多类型、多数量图片下载支持、插件机制等。 |
L5.UI 和自动化结合的案例实践¶
| 形式 | 章节 | 描述 |
|---|---|---|
| 知识点 | 【可测性】基于无监督深度特征的视觉识别技术 | PyTorch 构建模型，实现无监督的模版匹配技术。 |
| 知识点 | 【场景理解】视觉场景案例之响应时间分析和弹窗检测 | 构建响应时间性能测试解决方案，使用 TensorFlow 完成（弹窗截图）目标检测模型和分类模型的应用，模型推理加速技术尝试。 |
| 知识点 | 【召回技术】视觉召回技术之有参照 UIDiff 检测技术 | 兼容机型下的 App 页面的智能视觉 Diff 检查解决方案，在自研数据集下进行验证有效性。 |
| 知识点 | 【召回技术】视觉召回技术之无参照模型预测技术 | 基于历史数据构建数据集，使用 Pytorch 构建异常页面、元素检测模型，实现异常元素的召回及可视化。 |
| 知识点 | 【综合案例】基于深度学习的遍历动作推荐实践 | 基于开源 RICO 数据集，使用 TensorFlow 和 Keras 构建深度学习网络模型，对时序 App 页面截图进行动作推荐预测，实现拟人化的智能遍历。 |