大数据测试大概可以分为三个步骤：

　　一、数据分级验证

　　数据测试的Pre-Hadoop阶段，验证来自RDBMS,博客、社交媒体等等的资源，首要任务是确认导入的数据是正确的，然后把比较源数据放到HAPOOP系统中去确保他们是匹配的。接着提取验证正确的数据，然后加载到正确的HDFS位置，数据分级验证中可以使用Talend等等工具。

　　二、MapReduce验证

　　第二部是进行MAPREDUCE验证，在这个阶段，测试者需要为每个节点提供业务逻辑验证然后再多个节点进行试运行之后再次验证，确保。

　　1、MAPREDUCE过程正确运行。

　　2、数据的聚合和分离。

　　3、生成键值对。

　　4、在MAPREDUCE过程之后验证数据。

　　三、输出验证阶段

　　大数据测试的输出验证阶段就是进行验证过程的输出验证，将生成出的数据文件移植到EDW或者按照要求转移到其他系统之中。

　　在第三个步骤之中应该做到：

　　1、正确的应用转换规则。

　　2、确保数据完整性以及导入目标系统的成功数据。

　　3、比较目标数据与HDFS文件系统数据，确保没有数据损坏。

　　Hadoop处理的数据量是非常庞大的，因此也带来了资源的高度密集，因此，大数据项目能否成功则依赖于架构的测试，效率不高或者设计有问题的系统可能导致系统退化，系统也没有办法满足设计的要求，所以，在hadoop的环境下，应该做好性能和故障转移测试服务。

　　性能测试包括测试工作完成时间，内存利用率，数据吞吐量以及类似系统指标。故障转移测试服务的目的是证明在数据节点失败的情况下数据处理能完好的进行。

　　大数据的性能测试包含两点：

　　1、在数据处理的初级阶段，测试者需要快速的了解和分析数据，利用各种各样的系统去处理数据集，测试在规定的时间内不同队列中的不同信息能否被正确的处理。

　　2、开始处理数据的阶段，就需要开始验证数据处理的速度，Queries、Map Reduce等等的，在内存被数据集占满之后处理孤立数据的能力等等，在此之后则是子组件的测试，去单独测试和分析系统的每一个组件和其对应的功能。

　　陕西新榜样软件科技有限公司会定期发布西安IT培训等相关资料文章，包括西安JAVA培训、陕西UI培训、WEB开发培训、网络营销工程师培训等领域，敬请关注!

　　西安JAVA培训热线：029-63661555

　　西安IT培训网址：http://www.xinbangyang.com

　　西安JAVA培训地址：陕西省西安市碑林区东大街端履门云龙大厦9楼