内容简介:2018 年苏宁易购提出了智慧零售大开发战略,业务快速发展对苏宁的 IT 技术提出了更高的要求,其中一个重要的环节就是加快软件版本的上线步伐,伴随着软件的频繁快速上线迭代必然存在巨大的测试压力。通常情况下,软件测试的工作量很大。而频繁版本迭代中,针对老功能的回归测试是重复性的且这类测试比较耗时耗力,并要求做准确细致的工作,这样,计算机就比人更适合完成任务。另一方面,手工测试存在诸多的局限性。于是,就诞生了软件自动化测试这个领域。软件自动化测试是相对手工测试而存在的,主要是通过所开发的软件测试工具、脚本等来
前言
2018 年苏宁易购提出了智慧零售大开发战略,业务快速发展对苏宁的 IT 技术提出了更高的要求,其中一个重要的环节就是加快软件版本的上线步伐,伴随着软件的频繁快速上线迭代必然存在巨大的测试压力。
通常情况下,软件测试的工作量很大。而频繁版本迭代中,针对老功能的回归测试是重复性的且这类测试比较耗时耗力,并要求做准确细致的工作,这样,计算机就比人更适合完成任务。另一方面,手工测试存在诸多的局限性。于是,就诞生了软件自动化测试这个领域。软件自动化测试是相对手工测试而存在的,主要是通过所开发的软件测试 工具 、脚本等来实现。
2011年以前,针对自动化测试,苏宁各业务部门会安排一有代码能力的测试人员,全职编写自动化脚本,有人用 java 、有人用python,有人用 ruby 等等,并没有一个体系性、标准化、流程化的规范,因此也导致脚本维护成本高,复用性低,同时对测试人员的技能门槛比较高。
在这样的背景下,开始了我们苏宁自动化测试实践之路。下面我来为大家详细介绍。
1 SAT是什么
苏宁自动化测试工具(Suning Automation Tester)——简称"SAT",是苏宁测试平台研发中心自主研发的集WEB页面、HTTP及RSF协议、手机终端、数据库操作、 LINUX 操作等方面的于一体的自动化测试工具。
SAT是基于RCP平台上实现自动化用例设计和自动化执行的工具。它采用自动化测试架构中的关键字驱动(Keyword)思想,使测试设计和测试实现分离,将实现不同公共组件类、业务类Keyword集成到一个用例中运行,也最大限度地实现Keyword共享,降低测试组重复开发的工作量,使测试人员可以更关注业务本身的测试;另外工具提供了完善的日志和测试报告功能,方便用户查看用例执行日志和批量执行测试报告;最大限度地降低工具使用门槛,提高了其自动化开发、测试效率。
1.1 应用范围
- Web应用软件产品测试
- 移动应用产品自动化测试,支持移动端Android、iOS两大主流操作系统
- 协议接口测试(HTTP、RSF、MQ)
- 数据库操作
- 支持SAP类型测试
1.2 特点优势
- 浏览器/移动终端录制功能,自动生成脚本
- 拖拽关键字快速生成测试脚本,降低自动化门槛
- 业务关键字自由配置,满足业务扩展
- 测试数据独立存储,维护成本较低
- 测试脚本等相关资产可共享协作,提高测试工作效率
2 蛙测是什么
蛙测是苏宁自主研发的一套综合测试服务平台,是面向软件从业者的一体化测试解决方案,包含移动端 (Android&iOS)自动化测试和专项测试、 PC端多浏览器兼容性测试、接口协议自动化测试,以及性能测试和安全测试的云测平台,解决广大开发者和测试者在应用研发过程中面临的成本、技术和效率问题,提供7x24全天候服务。
平台核心服务有功能测试、自动化测试、性能测试、稳定性测试以及安全测试等,对应用软件提供360度全方位自动化检测,有效节约成本,提高了版本回归测试效率,为苏宁软件质量保驾护航。
3 蛙测自动化方面特点
- 移动设备/PC终端资源共享,节约成本
App应用都需要在主流机型上测试验证,需要购买较多移动设备,采用蛙测平台后,可以做到移动设备资源共享。
PC端测试,解决本地编辑、在线编辑、云端执行的冲突和效率问题,蛙测提供了测试集群,根据有效规则指定测试执行器消化测试任务。
- 测试计划随时创建,云端多机并行执行,多终端支持,执行计划灵活设置
测试资源池化,7x24全天候服务,立即执行、定时/循环定时执行、条件触发执行等不同执行计划按需设置,多云端设备串行、并行测试,效率高,报告日志实时查看,持续追踪。
- 多手段自动生成测试数据,高效高质量
构造数据手段丰富,支持 SQL 语句、UI和接口自动化,无逢对接企业现有逻辑,百余台服务器7*24小时提供服务,保障数据的高效生成。数据构造集中管理,避免各自为战,严谨的数据复检功能。
- Mock测试,设置方便灵活,千人千面,满足多种业务场景
支持用户创建全局和请求级桩服务,支持HTTP、ESB、RPC 等协议 Mock,对代码无侵入,支持同步、异步以及回调场景等功能,提供调用日志查询,满足多种应用场景。同时与服务管理平台、一建站系统打通,让接口测试更便捷,更简单。
4 蛙测&SAT技术架构
蛙测的技术架构
5 蛙测&SAT在自动化测试实际应用
SAT的技术框架
蛙测平台的技术框架
5.1 自动化测试脚本实际应用
5.1.1 数据定义的应用
全局变量:基于对业务的理解抽取公共字段定义变量
局部变量:根据数据的复杂度决定使用组合关键字定义变量,或用表格定义数据实现用例数据分离
5.1.2 组合关键字的应用
多操作步骤封装为一场景步骤关键字,大大减少了测试脚本的步骤数,提升了脚本可读性,且该组合关键字后续可重复拖拽使用,有效提高了脚本编写效率,减少了维护成本。
操作:选择合适的场景—>封装组合关键字—>拖拽组合关键字至测试用例
选择合适场景封装组合关键字
引用组合关键字后脚本测试步骤展示:
5.1.3 原子用例的应用
原子用例的设计为实现高可维护性自动化提供一种解决方案,单场景复用,便于测试场景的有效列举。
操作:选择合适用例—>设置原子用例—>拖拽原子测试用例至测试用例。
用例树区分展示原子用例、普通用例、已引用原子用例的用例;
业务用例中拖拽引用原子案例,根据业务场景多次引用相应场景原子用例,编写对应场景用例
5.1.4 应用效果
基于对业务的理解抽取公共数据、公共逻辑实现组合关键字、原子用例,自动化脚本优势可充分利用并放大实际应用效果
- 脚本可读性高
降低测试用例的冗余度,大大减少步骤数,也提高可读性
减少编写案例的工作量
- 公共逻辑可复用性强
组合关键字/原子用例存在共性,可供重复引用
便于测试场景的有效列举
- 脚本可扩展性高/ 维护成本低
需求发生变更,只要维护少量组合关键字/原子用例
大大降低维护成本
无论业务如何变化,合理使用好组合关键字、原子用例,抽取数据做好数据定义,这两项能为大家的自动化测试工作保驾护航。
(Tips:工具提供的只是手段,最核心的还是需要大家深入理解、挖掘业务)
5.2 mock实际应用
桩发展历程:最初SAT端只支持请求级别桩,但是异步的rsf请求中,找桩标记无法自动下传,需要服务修改代码把找桩标记下传后才可使用。
后经过多方研讨,决定把桩服务升级应用于蛙测平台,通过对接口设置挡板的方式,构建测试数据实现千人千面,也就有了现在的全局桩、UI 桩、回调桩等全面桩。
5.2.1 请求调用
脚本中 rsf 埋桩 demo 展示示例:
SAT端桩响应条件设置设置桩响应条件,填写请求报文相应属性路径下,参数的属性值,接口请求时,根据响应条件的匹配,返回相应设置的模拟桩,即做到某桩在某请求条件满足响应条件下生效,真正做到 千人(桩响应条件)千面(桩响应报文)。
SAT 端桩响应条件设置
蛙测端桩响应条件设置。
5.2.3 MQ接收
MQ接收的场景一般分为以下两类:
场景一:通过MQ队列接收数据之后直接存库;
场景二:通过MQ队列接收数据后需要继续调用处理其他资源,然后入库/入缓存等操作。
自动化实现:
截图中测试步骤列举的为MQ收到消息需要调用其他资源需要用到的一些关键字。
MQ场景二涉及调用其它资源,为独立测试该场景,mock相应依赖,因此引入全局桩的概念。
5.2.3 应用效果
请求级别桩优势:
- 桩数据在本地,对蛙测依赖小
- 通过SAT日志就能定位问题,方便简洁
全局桩优势:
- 支持场景丰富,同步/异步请求都支持,且不需要被测系统嵌入代码
- 通过构造请求报文的多样性,实现千人千面
- 蛙测支持多机并行
根据请求桩与全局桩存在不同优势,结合业务需求相应结合使用,实现Mock测试,摆脱被测系统间依赖,提高测试质量及效率,同时成功解决测试人员、开发人员在测试和研发过程中,数据构造、环境依赖等痛点,大大提高了生产效率,提高测试场景的覆盖率,保障了业务版本上线的质量。
6 蛙测& SAT解决的问题和实现的价值
6.1 解决的问题
- 用户手工测试耗时长效率低
- 自动化脚本写作门槛高
- 自动化脚本维护成本高,复用率低
- 用户自动化执行需占用本机的资源
- 用户缺少特定测试设备
- 单机执行并发度低,测试耗时久,效率低下
- 本地执行后测试结果无法有效追踪
- 接口测试时依赖方不可用,测试人员无法提前介入测试
- 构造异常数据流程复杂,无法很快生成,影响测试效率
- 依赖方涉及到现金交易,测试成本高
6.2 实现的价值
- 测试资源池化,多浏览器、多终端设备、稀缺资源统一管理
- 降低测试成本,测试设备在云端,共享使用
- 多维度并发执行,提高测试效率
- 云端任务执行,测试结果持续追踪,
- 摆脱被测系统间依赖,自已的测试自己做主
- 数据构造集中管理,统一调度
7 总结
目前蛙测&SAT在苏宁集团各业态已全面应用,包含苏宁易购、物流、金融、科技、置业、文创、体育和投资八大体系近万名IT研发人员。此间测试资产积累效果显著,每月自动化测试执行案例数超过100万,自动化测试步骤数超过3000万行。
蛙测团队一直在努力,在测试技术方向,持续探索,永不停歇!我们的宗旨:提供专业、简单、高效的测试服务!
欢迎大家多多关注、共同交流!
作者简介
卢烨,苏宁云测试平台技术经理,2013 年加入苏宁,一直从事测试工具与平台的测试、产品工作,始终专注于测试技术、测试效率等相关领域。精通自动化测试、测试管理方面新技术和新理念,同时对自动化测试、测试管理在实际测试活动中的应用实践积累了比较丰富的经验。
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网
猜你喜欢:- 大数据方面核心技术有哪些?
- 推荐一些学习方面的公众号
- 滴滴开源 移动开发 方面的 4 个项目
- 产品小白进行产品验收,从这些方面入手
- android常见的性能优化方面的总结
- qt creator源码全方面分析(3-5)
本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们。
PHP for the World Wide Web, Second Edition (Visual QuickStart Gu
Larry Ullman / Peachpit Press / 2004-02-02 / USD 29.99
So you know HTML, even JavaScript, but the idea of learning an actual programming language like PHP terrifies you? Well, stop quaking and get going with this easy task-based guide! Aimed at beginning ......一起来看看 《PHP for the World Wide Web, Second Edition (Visual QuickStart Gu》 这本书的介绍吧!