课程 ID: 19242
描述:
话题概述:
随着大前端技术的演进与业务形态的不断丰富，多端交织、UI变化频繁、交互逻辑复杂成为了现代超级App的常态。传统的UI自动化测试依赖固定脚本与元素定位，面临着“编写成本高、维护极其困难、执行稳定性差”的“三高一低”困境。与此同时，随着GPT及各类大模型（LLM）的爆发，AI+GUI的融合为彻底打破测试效能瓶颈提供了全新的解法。
作为拥有亿级日活、高频迭代业务场景的技术团队，我们深耕质量基建，探索出了一条从“传统手工/脚本测试”向“L2/L3级智能全链路测试”演进的成熟路径。在本次分享中，我们将详细剖析如何打造面向大前端的智能测试底座：在通用场景下，我们首创了“私域视觉模型（YOLO）+ 多智能体（Multi-Agent）”的执行框架，让AI自动化具备高鲁棒性的自愈与识别能力；针对高复杂度的垂类数据业务，我们攻克了大模型Token超限难题，通过创新的“DOM节点YAML降维压缩”与“异构数据智能映射”技术，实现了“前端拟人操作-参数截获-后端SQL核对”的端到端数据校验闭环。
目前，该套智能测试体系已在核心直播、增长及中后台数据洞察业务中规模化落地，转化沉淀高优用例数百条。在复杂需求测试中，AI各个环节准确率达90%以上，测试整体提效达75%（原本1人日的测试工作量压缩至2小时内），成功推动了质量保障体系从“人海战术”向“人机协同”的跃迁。
演讲题纲:
1 破局：大前端时代的质量“阿喀琉斯之踵”
大前端多端、多场景下的测试复杂性爆炸
传统UI自动化“写用例2小时，维护3天”的痛点拆解
智能化演进的破局思路：定义L2（通用UI）与L3（垂类全链路）测试能力阶梯
2 L2级通用实践：私域视觉融合多智能体的重塑
为什么纯通用大模型做UI自动化行不通？（幻觉与私域知识缺失）
Multi-Agent执行架构解析：Planner（任务分解）与 Reviewer（闭环复核）
基于YOLO的私域知识图谱：从“盲目推理”到“像素级精准打击”
规模化落地的底座建设：透明化资产管理与设备云动态调度
3 L3级垂类深潜：大模型驱动的全链路异构数据校验
极高频B端数据业务的“测试死亡三角”（造数难、漏测高、链路断）
核心突破一：大模型上下文的克星——复杂页面DOM的轻量化YAML降维压缩方案
核心突破二：前端页面（非标结构）与后端SQL结果的异构数据智能映射逻辑
驯服大模型：保障生成准确率的“道法术器”（知识外挂、模板约束与工程化确定性兜底）
4 跨越“死亡之谷”：智能测试落地的体系化思考
基建水位线：AI Infra、设备矩阵与文档规范的耦合要求
人才结构重塑：从“脚本编写者”向“Agent架构与调优师”的演进
ROI第一法则：如何为智能测试挑选最容易拿到业务结果的落地场景
5 未来演进与终极愿景
当前技术局限探讨：从“图标级专家”走向“业务状态上下文理解”
愿景：基于意图的测试（Intent-based QA）与完全自治的人机协同网络
话题亮点：
1 破局大模型落地的工程化创新：独创基于Playwright快照的“DOM树YAML降维压缩技术”，将18万Token的冗杂前端页面压缩至7000 Token，极低成本跨越了大模型上下文超限的工程瓶颈。
2 业界领先的“视觉+Agent”多模态测试架构：摒弃纯通用大模型的盲目推理，采用“YOLO私域元素识别（解决精确点击与业务常识） + Planner/Reviewer多智能体架构（解决复杂意图分解与复核）”，彻底解决AI测试易降智、易产生幻觉的行业痛点。
3 高复杂业务的全链路数据闭环实践：打破前端UI测试与后端API/数据测试脱节的孤岛，完整展示大型异构系统下，“自然语言指令 -> 前端自动化获取参数 -> AI智能生成SQL -> 前后端复杂数据精准核对”的L3级智能测试落地全景。