小白学习大数据测试：6个主流程和3个关键步骤归纳整理

什么是大数据？

大数据是一个大的数据集合，通过传统的计算技术无法进行处理。这些数据集的测试需要使用各种 工具 、技术和框架进行处理。大数据涉及数据创建、存储、检索、分析，而且它在数量、多样性、速度方法都很出色。

大数据测试类型

测试 大数据应用 程序更多的是验证其数据处理，而不是测试软件产品的个别功能。当涉及到大数据测试时，性能和功能测试是关键。

在大数据测试中，QA工程师数据处理可以是三种类型：批量、实时、交互。

与此同时，数据质量也是大数据测试的一个重要因素。它涉及检查各种字段，如准确性，重复，一致性，有效性，数据完整性等。

大数据测试步骤

下图给出了测试大数据应用程序阶段的高级概述：

大数据测试实现被分成三个步。

1：数据阶段验证

♦ 来自各方面的数据资源应该被验证，来确保正确的数据被加载进系统

♦ 将源数据与推送到Hadoop系统中的数据进行比较，以确保它们匹配

♦ 验证正确的数据被提取并被加载到HDFS正确的位置

该阶段可以使用工具Talend或Datameer，进行数据阶段验证。

Step 2："MapReduce"验证

在这个阶段，测试者在每个节点上进行业务逻辑验证，然后在运行多个节点后验证它们，确保如下操作的正确性：

♦ Map与Reduce进程正常工作

♦ 在数据上实施数据聚合或隔离规则

♦ 生成键值对

♦ 在执行Map和Reduce进程后验证数据

Step 3：输出阶段验证

生成输出数据文件，同时把文件移到一个EDW(企业数据仓库)中或着把文件移动到任何其他基于需求的系统中。在第三阶段的活动包括：

♦ 检查转换规则被正确应用

♦ 检查数据完整性和成功的数据加载到目标系统中

♦ 通过将目标数据与HDFS文件系统数据进行比较来检查没有数据损坏

大数据测试完整流程

遵循：需求调研+分析---->测试策略计划制定---->测试用例编写--->执行测试----->线上验证测试----->测试总结的流程。

1、需求调研+分析

测试若不清楚需求的背景现状是无法真正做好测试、保证产品质量的。

需求分析的越透彻，后续的工作就越顺利。这个步骤是需要产品、开发、测试相互补充辅助完成。

2、测试策略计划制定

通过开发的技术架构评审会，测试会了解开发的架构逻辑，表结构设计，开发排期，从而制定测试策略方法，测试重点，测试工具选用，测试排期，风险预估等

3、编写及评审测试用例

测试用例需要覆盖所有的测试场景：

正常的，异常的、功能逻辑的，接口的、性能的等等.

测试用例的目的：

从来就是为了更好执行测试，更好的保证执行测试时的高覆盖率和高通过率，绝对不是为了写用例而写用例。

测试工具的选择遵循两个重要标准：

（1）清晰展现测试思路和逻辑

（2）方便快速评审及执行测试。

目前我们所使用的的用例管理工具是matrix+easytest+freemind+excel，根据不同的需求场景，选择不同的工具。

4、用例执行测试

执行测试包括两部分：

第一部分：每周平均两次的迭代版本测试，这种类型的执行测试以手工测试为主工具为辅。

第二部分：定期执行部分, 主要依赖工具执行。用来做web、接口的功能测试和性能测试，包括selenium+git+idea、easytest、jmeter、beyondcompare这类工具分别设置了不同的执行周期，定期的进行全产品线的回归测试，进一步保证产品功能逻辑及接口功能的正确及可用性。

5、线上验收测试

上线后，第一时间针对上线更新内容进行线上回归测试，并且快速反馈给开发和产品，做出决策；上线验证完成后，根据实际上线结果向项目所有成员发送上线测试报告;

6、测试总结

包括：文档整理、技术总结、项目概况综述。

文档整理

针对项目所涉及的环境数据、业务数据等实际场景做项目后的总结整理。

技术总结

主要是针对项目中用到的工具技术，所遇到的难点或新的突破和改进。

项目概况综述

包括需求覆盖率、需求遗漏变更率、开发自测通过率、开发bug反复率、用例覆盖率、问题遗漏率、项目bug类型及数量统计等。

总结：

万变不离其宗，不论是什么测试ta的主流程基本都是一样的，就是我们刚开始学习测试的那一套流程。也许你会觉得简单，但你要明白，无规不成方圆，有时候没有推行好或者结果不好不一定是因为技术不行，也许是没有好的流程。就好像，一辆汽车的生产，如果没有好的流程你觉得最终出来的汽车质量会好吗？

很多东西不会立马就明白，大数据测试也是一样，先做了解和记忆，等后续随着知识的积累自然就明白了，学习就是这样的，需要一个过程，不能太强求。