关于举办《大模型评测工程师》职业技能专题培训班
通 知
各有关单位：
随着AI技术的广泛应用，模型评测成为确保AI产品质量与用户体验的关键步骤。评测工程师的专业能力直接影响到AI产品的市场竞争力与行业声誉。作为AI项目中的关键角色，评测工程师是连接研发与应用的桥梁，既要深入理解模型技术细节，又要能够从用户角度出发，提出改进建议，确保模型在实际应用中表现优异。大模型评测工程师是负责对大模型（如语言模型、多模态模型等）进行全面评估和测试的专业人员，他们在提升模型性能和质量方面起着关键作用。我专委会将定期在线上线下举办《大模型评测工程师》职业技能专题培训班。具体安排如下：
一、培训内容
（一）、动手实践模块：Al Agent 基础与评测必要性
1.使用Dify配置一个RAG问答；
2.使用Coze三件套完成一个Agent，并且使用Coze评测组件完成简单评测；
（二）、实际操作模块：Al Agent 评测全流程框架
1.针对一个任务型Agent(如“旅行规划助手”），设计Agent测试分析报告；
2.针对一个金融类的Agent（如“招商银行的小招助手”），设计完整的评测体系；
2.1评测流程总览
2.2第一步：明确评测目标与场景边界；
2.3第二步：关键评测维度与指标设计；
2.4第三步：评测方法选择与设计；
2.5第四步：评测组织架构的设计；
（三）、前沿趋势与职业发展
1. Al Agent评测的前沿方向；
2. 行业人才需求与职业路径；
二、课程目标：
1、基础认知：理解AI Agent的核心架构（感知-决策-执行闭环）、典型类型（任务型/交互型/具身型）及应用场景；
2、评测体系：熟悉评测的全流程框架（目标定义→指标设计→方法选择→数据分析→报告输出），掌握关键评测维度（效果、功能性、可靠性、安全性、用户体验等）；
3、工具实践：能使用主流评测工具（如自动化测试平台、用户模拟器、数据分析工具）完成典型Agent的评测任务 ；
4、场景适配：针对不同行业（如金融、医疗、教育）的Agent需求，设计定制化评测方案并输出可落地的优化建议。
5、理论+实操+面试辅导：确保学员充分掌握软件测试的核心技能。课程周期紧凑高效，旨在帮助学员快速成长为专业的AI大模型评测工程师。优秀学员考核合格后，可注册成为专委会人才库会员，提前推荐就业。
三、课时安排：
1、培训周期：每两月一期（集中学习4天，线上+线下各两天。）
2、每期班报名人数控制在30人，报满后循环开班。
3、具体面授课程计划根据每期培训班开班时间，另行通知。
四、培训师资团队：
1、软测领域权威专家;高等院校教授;检测机构质量负责人\技术负责人；软工委标准化专家；软件企业质量主管。
2、前字节跳动业务测试负责人、字节跳动软件测试AI工具团队主管，资深企业AI智能化转型专家。
3、资深软件测试专家，10年以上全栈测试经验，自动化与效能优化引领者。专注软件质量保障领域15年，精通电商核心系统测试，主导亿级流量系统全链路测试，擅长自动化，工具化，以技术驱动测试效能。
五、培训对象
1、科技巨头企业，传统数字化转型企业，创新型初创企业，科研机构与高校相关岗位。
2、从事软件设计和开发、软件内部测试、软件第三方独立测试的技术人员和管理人员，大、中专及职业院校从事相关工作的专家、学者。
3、从事软件测试质量管理体系建设的管理和技术人员，包括有实验室认可需求的实验室、软件研发单位的内部测试机构。
六、证书颁发
培训考核合格，由工业和信息化部所属机构和中国电子商会统一颁发《大模型评测工程师》和《高级测试工程师》职业技术证书。
七、报名须知
请参加培训班的学员认真填写报名回执表，会务组接到信息后会提前安排培训日程，此次学习会务工作由电设信科（北京）技术有限公司承办。
联系电话：010-87660482 E-mail：ceietn@sina.com
联系人：马老师 13391829961 （微信同步）
网址：www.ceietn.com
附件：报名回执表！
