苏宁蛙测&SAT在自动化测试方面的应用

栏目: 编程工具 · 发布时间: 6年前

内容简介:2018 年苏宁易购提出了智慧零售大开发战略,业务快速发展对苏宁的 IT 技术提出了更高的要求,其中一个重要的环节就是加快软件版本的上线步伐,伴随着软件的频繁快速上线迭代必然存在巨大的测试压力。通常情况下,软件测试的工作量很大。而频繁版本迭代中,针对老功能的回归测试是重复性的且这类测试比较耗时耗力,并要求做准确细致的工作,这样,计算机就比人更适合完成任务。另一方面,手工测试存在诸多的局限性。于是,就诞生了软件自动化测试这个领域。软件自动化测试是相对手工测试而存在的,主要是通过所开发的软件测试工具、脚本等来

前言

2018 年苏宁易购提出了智慧零售大开发战略,业务快速发展对苏宁的 IT 技术提出了更高的要求,其中一个重要的环节就是加快软件版本的上线步伐,伴随着软件的频繁快速上线迭代必然存在巨大的测试压力。

通常情况下,软件测试的工作量很大。而频繁版本迭代中,针对老功能的回归测试是重复性的且这类测试比较耗时耗力,并要求做准确细致的工作,这样,计算机就比人更适合完成任务。另一方面,手工测试存在诸多的局限性。于是,就诞生了软件自动化测试这个领域。软件自动化测试是相对手工测试而存在的,主要是通过所开发的软件测试 工具 、脚本等来实现。

2011年以前,针对自动化测试,苏宁各业务部门会安排一有代码能力的测试人员,全职编写自动化脚本,有人用 java 、有人用python,有人用 ruby 等等,并没有一个体系性、标准化、流程化的规范,因此也导致脚本维护成本高,复用性低,同时对测试人员的技能门槛比较高。

在这样的背景下,开始了我们苏宁自动化测试实践之路。下面我来为大家详细介绍。

1 SAT是什么

苏宁自动化测试工具(Suning Automation Tester)——简称"SAT",是苏宁测试平台研发中心自主研发的集WEB页面、HTTP及RSF协议、手机终端、数据库操作、 LINUX 操作等方面的于一体的自动化测试工具。

SAT是基于RCP平台上实现自动化用例设计和自动化执行的工具。它采用自动化测试架构中的关键字驱动(Keyword)思想,使测试设计和测试实现分离,将实现不同公共组件类、业务类Keyword集成到一个用例中运行,也最大限度地实现Keyword共享,降低测试组重复开发的工作量,使测试人员可以更关注业务本身的测试;另外工具提供了完善的日志和测试报告功能,方便用户查看用例执行日志和批量执行测试报告;最大限度地降低工具使用门槛,提高了其自动化开发、测试效率。

1.1  应用范围

  • Web应用软件产品测试
  • 移动应用产品自动化测试,支持移动端Android、iOS两大主流操作系统
  • 协议接口测试(HTTP、RSF、MQ)
  • 数据库操作
  • 支持SAP类型测试

1.2  特点优势

  • 浏览器/移动终端录制功能,自动生成脚本
  • 拖拽关键字快速生成测试脚本,降低自动化门槛
  • 业务关键字自由配置,满足业务扩展
  • 测试数据独立存储,维护成本较低
  • 测试脚本等相关资产可共享协作,提高测试工作效率

2 蛙测是什么

蛙测是苏宁自主研发的一套综合测试服务平台,是面向软件从业者的一体化测试解决方案,包含移动端 (Android&iOS)自动化测试和专项测试、 PC端多浏览器兼容性测试、接口协议自动化测试,以及性能测试和安全测试的云测平台,解决广大开发者和测试者在应用研发过程中面临的成本、技术和效率问题,提供7x24全天候服务。

平台核心服务有功能测试、自动化测试、性能测试、稳定性测试以及安全测试等,对应用软件提供360度全方位自动化检测,有效节约成本,提高了版本回归测试效率,为苏宁软件质量保驾护航。

3 蛙测自动化方面特点

  • 移动设备/PC终端资源共享,节约成本

App应用都需要在主流机型上测试验证,需要购买较多移动设备,采用蛙测平台后,可以做到移动设备资源共享。

PC端测试,解决本地编辑、在线编辑、云端执行的冲突和效率问题,蛙测提供了测试集群,根据有效规则指定测试执行器消化测试任务。

  • 测试计划随时创建,云端多机并行执行,多终端支持,执行计划灵活设置

测试资源池化,7x24全天候服务,立即执行、定时/循环定时执行、条件触发执行等不同执行计划按需设置,多云端设备串行、并行测试,效率高,报告日志实时查看,持续追踪。

  • 多手段自动生成测试数据,高效高质量

构造数据手段丰富,支持 SQL 语句、UI和接口自动化,无逢对接企业现有逻辑,百余台服务器7*24小时提供服务,保障数据的高效生成。数据构造集中管理,避免各自为战,严谨的数据复检功能。

  • Mock测试,设置方便灵活,千人千面,满足多种业务场景

支持用户创建全局和请求级桩服务,支持HTTP、ESB、RPC 等协议 Mock,对代码无侵入,支持同步、异步以及回调场景等功能,提供调用日志查询,满足多种应用场景。同时与服务管理平台、一建站系统打通,让接口测试更便捷,更简单。

4 蛙测&SAT技术架构

蛙测的技术架构

苏宁蛙测&SAT在自动化测试方面的应用 5 蛙测&SAT在自动化测试实际应用

SAT的技术框架

苏宁蛙测&SAT在自动化测试方面的应用 蛙测平台的技术框架

苏宁蛙测&SAT在自动化测试方面的应用

5.1  自动化测试脚本实际应用

5.1.1  数据定义的应用

全局变量:基于对业务的理解抽取公共字段定义变量

苏宁蛙测&SAT在自动化测试方面的应用

局部变量:根据数据的复杂度决定使用组合关键字定义变量,或用表格定义数据实现用例数据分离

苏宁蛙测&SAT在自动化测试方面的应用

5.1.2  组合关键字的应用

多操作步骤封装为一场景步骤关键字,大大减少了测试脚本的步骤数,提升了脚本可读性,且该组合关键字后续可重复拖拽使用,有效提高了脚本编写效率,减少了维护成本。

操作:选择合适的场景—>封装组合关键字—>拖拽组合关键字至测试用例

选择合适场景封装组合关键字

苏宁蛙测&SAT在自动化测试方面的应用

引用组合关键字后脚本测试步骤展示:

苏宁蛙测&SAT在自动化测试方面的应用

5.1.3  原子用例的应用

原子用例的设计为实现高可维护性自动化提供一种解决方案,单场景复用,便于测试场景的有效列举。

操作:选择合适用例—>设置原子用例—>拖拽原子测试用例至测试用例。

用例树区分展示原子用例、普通用例、已引用原子用例的用例;

苏宁蛙测&SAT在自动化测试方面的应用

业务用例中拖拽引用原子案例,根据业务场景多次引用相应场景原子用例,编写对应场景用例

苏宁蛙测&SAT在自动化测试方面的应用

5.1.4  应用效果

基于对业务的理解抽取公共数据、公共逻辑实现组合关键字、原子用例,自动化脚本优势可充分利用并放大实际应用效果

  • 脚本可读性高

降低测试用例的冗余度,大大减少步骤数,也提高可读性

减少编写案例的工作量

  • 公共逻辑可复用性强

组合关键字/原子用例存在共性,可供重复引用

便于测试场景的有效列举

  • 脚本可扩展性高/ 维护成本低

需求发生变更,只要维护少量组合关键字/原子用例

大大降低维护成本

无论业务如何变化,合理使用好组合关键字、原子用例,抽取数据做好数据定义,这两项能为大家的自动化测试工作保驾护航。

(Tips:工具提供的只是手段,最核心的还是需要大家深入理解、挖掘业务)

5.2  mock实际应用

桩发展历程:最初SAT端只支持请求级别桩,但是异步的rsf请求中,找桩标记无法自动下传,需要服务修改代码把找桩标记下传后才可使用。

后经过多方研讨,决定把桩服务升级应用于蛙测平台,通过对接口设置挡板的方式,构建测试数据实现千人千面,也就有了现在的全局桩、UI 桩、回调桩等全面桩。

5.2.1  请求调用

苏宁蛙测&SAT在自动化测试方面的应用

脚本中 rsf 埋桩 demo 展示示例:

苏宁蛙测&SAT在自动化测试方面的应用

SAT端桩响应条件设置设置桩响应条件,填写请求报文相应属性路径下,参数的属性值,接口请求时,根据响应条件的匹配,返回相应设置的模拟桩,即做到某桩在某请求条件满足响应条件下生效,真正做到 千人(桩响应条件)千面(桩响应报文)。

SAT 端桩响应条件设置

苏宁蛙测&SAT在自动化测试方面的应用

蛙测端桩响应条件设置。

苏宁蛙测&SAT在自动化测试方面的应用

5.2.3  MQ接收

MQ接收的场景一般分为以下两类:

场景一:通过MQ队列接收数据之后直接存库;

场景二:通过MQ队列接收数据后需要继续调用处理其他资源,然后入库/入缓存等操作。

自动化实现:

苏宁蛙测&SAT在自动化测试方面的应用

截图中测试步骤列举的为MQ收到消息需要调用其他资源需要用到的一些关键字。

MQ场景二涉及调用其它资源,为独立测试该场景,mock相应依赖,因此引入全局桩的概念。

5.2.3  应用效果

请求级别桩优势:

  • 桩数据在本地,对蛙测依赖小
  • 通过SAT日志就能定位问题,方便简洁

全局桩优势:

  • 支持场景丰富,同步/异步请求都支持,且不需要被测系统嵌入代码
  • 通过构造请求报文的多样性,实现千人千面
  • 蛙测支持多机并行

根据请求桩与全局桩存在不同优势,结合业务需求相应结合使用,实现Mock测试,摆脱被测系统间依赖,提高测试质量及效率,同时成功解决测试人员、开发人员在测试和研发过程中,数据构造、环境依赖等痛点,大大提高了生产效率,提高测试场景的覆盖率,保障了业务版本上线的质量。

6 蛙测& SAT解决的问题和实现的价值

6.1  解决的问题

  • 用户手工测试耗时长效率低
  • 自动化脚本写作门槛高
  • 自动化脚本维护成本高,复用率低
  • 用户自动化执行需占用本机的资源
  • 用户缺少特定测试设备
  • 单机执行并发度低,测试耗时久,效率低下
  • 本地执行后测试结果无法有效追踪
  • 接口测试时依赖方不可用,测试人员无法提前介入测试
  • 构造异常数据流程复杂,无法很快生成,影响测试效率
  • 依赖方涉及到现金交易,测试成本高

6.2 实现的价值

  • 测试资源池化,多浏览器、多终端设备、稀缺资源统一管理
  • 降低测试成本,测试设备在云端,共享使用
  • 多维度并发执行,提高测试效率
  • 云端任务执行,测试结果持续追踪,
  • 摆脱被测系统间依赖,自已的测试自己做主
  • 数据构造集中管理,统一调度

7 总结

目前蛙测&SAT在苏宁集团各业态已全面应用,包含苏宁易购、物流、金融、科技、置业、文创、体育和投资八大体系近万名IT研发人员。此间测试资产积累效果显著,每月自动化测试执行案例数超过100万,自动化测试步骤数超过3000万行。

蛙测团队一直在努力,在测试技术方向,持续探索,永不停歇!我们的宗旨:提供专业、简单、高效的测试服务!

欢迎大家多多关注、共同交流!

作者简介

卢烨,苏宁云测试平台技术经理,2013 年加入苏宁,一直从事测试工具与平台的测试、产品工作,始终专注于测试技术、测试效率等相关领域。精通自动化测试、测试管理方面新技术和新理念,同时对自动化测试、测试管理在实际测试活动中的应用实践积累了比较丰富的经验。


以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持 码农网

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

C语言接口与实现

C语言接口与实现

(美)David R. Hanson / 人民邮电出版社 / 2010-8 / 79.00元

可重用的软件模块是构建大规模可靠应用程序的基石,创建可重用的软件模块是每个程序员和项目经理必须掌握的技能。C语言对创建可重用的API提供的语言和功能支持非常少,虽然C程序员写应用时都会用到API和库,但却很少有人去创建和发布新的能广泛应用的API。本书介绍用一种基于接口的设计方法创建可重用的API,这一方法将接口与实现分离开来,且与语言无关。书中详细描述了24个接口及其实现,便于读者深入了解此方法......一起来看看 《C语言接口与实现》 这本书的介绍吧!

RGB转16进制工具
RGB转16进制工具

RGB HEX 互转工具

在线进制转换器
在线进制转换器

各进制数互转换器

URL 编码/解码
URL 编码/解码

URL 编码/解码