大数据是什么，我们应该如何解决大数据的相关问题

在大数据时代，数据分析、数据挖掘工作面临着机遇与挑战，近年来，业界、学术界兴起了大数据讨论，一夜间大数据时代到来了。大数据给学术界带来了新的思潮，大数据正在颠覆着很多传统行业的模式，带来变革。

大数据必将成为商业、政府、科研、教育、医疗等各行业面临的一个挑战。在大数据时代，数据分析、数据挖掘工作面临着机遇与挑战，本文从数据分析的角度，结合国内外相关研究，试图回答大数据是什么，如何应对大数据的问题。

一、认识大数据

（一）大数据的宗旨：经过分析的数据才有价值

大数据要发挥作用必须经过分析，这是由大数据的4V特性（数据量大、数据类型多、要求处理速度快、低密度）决定的。也就是说，数据都是高维、低密度的，从单个数据中难以看出规律。因此，必须经过分析，针对高维进行降维，提炼大量低密度信息中的价值，才能发挥作用。否则，大数据背景下，反而更容易使得“活”信息混迹在大量“死”数据中被淹没。面向大数据的分析要“简单、迅速、规模化”。

（二）大数据的目标：实现基于数据的决策与资源配置

大数据最终要实现科学决策，基于信息对称的有效资源配置。随着大数据分析技术的发展，可利用数据来源从线下封闭的数据库、数据仓库扩展到开放性的O2O（Online To Offline）融合数据，可分析数据结构从原来以数值为主的结构化数据发展到涵盖文本、视频、音频等多媒体数据。从而，大数据将逐步改变我们的决策目标和社会资源配置方式。基于数据的科学决策是一贯追求的目标。然而，信息不对称是常态，因此传统决策目标是建立相对满意而非最优（决策科学家Simon提出），资源配置效率基于市场优于基于计划。大数据背景下，迅速获取分析更多辅助决策信息成为可能，因此决策目标可实现向最优的无限逼近，实现基于数据的“计划”资源配置将更有效率。

（三）大数据的角度：个性化服务+中观指数+宏观连结

目前发展大数据，主要有基于数据为客户提供个性化营销服务、预测中观行业或区域趋势指数、基于连结的宏观资源配置方案等角度。这不仅仅体现在阿里小微融资的个性化风控决策、高端品牌在线特卖品牌和定价动态决策（基于阿里巴巴网商活跃度指数和零售商品价格指数）、Discern group企业发展战略咨询报告上，还体现在阿里巴巴商务智能指数（预测经济发展态势）和基于公共气象数据的各行业资源配置优化服务上。

互联网金融是大数据发展各角度的前沿阵地。在金融领域，要实现从金融互联网向互联网金融的快速转型。传统模式下的金融企业开展网上业务，如：网上银行、网上理财，并不是真正的互联网金融。互联网金融是指通过互联网新技术为客户实现搜索或风控等服务增值，比较有代表性的是，消除供求双方结构不对称的P2P贷款，提高存取效率的保值理财产品余额宝。

（四）大数据的关键点：保证数据质量

要发展大数据分析，首先要保证数据质量。错误的输入必然导致错误的输出。没有数据质量，一切都是浮云。数据质量没有保证，是不敢用的。数据质量是一项耗时、费力的基础工作。

保证数据质量要求数据采集与清洗过程中秉持两大原则：相关性和低噪声。第一，大数据，数据并非越“大”越好，而是相关数据越“大”越好。特别是，在数据采集中，要以采集尽可能多的“相关”数据为目标，而非不加筛选越多越好。第二，大数据，首先数据获取时要保证不存在诱导倾向的干扰因素，同时进行去噪处理。

保证数据质量要建立数据的数据。针对数据质量建立数据标签，才有进步。有了对数据质量的数据，数据才能被决策者更为安全科学有效地使用。

（五）大数据竞争的核心：分析人才的竞争

大数据时代，作为一种资源，数据不再是稀缺资源。互联网、门户网站、社交网站、微博、微信等新媒体积累了大量数据，缺乏的是对这些数据的分析人员。缺乏专业的分析人才，即使守着数据的“金山”，也只能望“山”兴叹。因此，美国Turbo Financial Group采用最新的大数据分析技术聚焦被FICO遗忘的15%人群建模，阿里提出建立大数据分析的开放式平台，希望能够集结更多专家智慧，同时培养阿里分析人才，挖掘阿里数据“金矿”。

二、把握大数据

大数据对社会生活带来方方面面的影响，我们如何把握大数据时代的机遇，需要慎重对待大数据带来的挑战。总结起来，主要有三个方面：

（一）大数据时代，数据整理和清洗工作

（1）数据整理和清洗工作是数据分析的基础。大数据专家根据经验，普遍认为该工作是一项基础性工作，耗时多且简单，占到数据分析工作量的60%以上，是数据分析前提和基础。在此基上，数据分析工作需要对数据进行标识，进行深度分析，撰写专题报告，确保结果可以执行，最终落实到决策和实施。

（2）大数据时代，需要充分借助IT技术管理数据质量工作。在大数据时代，人工逐笔发现、解决数据质量问题的方式成本高、效率低，不可持续。要尽量规范化、系统化、自动化管理数据质量工作，将节省下的人力资源投入到新问题的研究中。

（二）大数据时代，数据分析的特点

（1）采用倒金字塔模式分配“思考、工作、分享”的时间比重。数据分析工作包括三部分：“思考”，分析实际问题，将实际问题转化成数学模型，提出解决方案的过程；“工作”，将解决方案程序化，得出结果的过程；“分享”，将分析的结果，转化为决策，付诸实施的过程。在时间分配上，金字塔结构或柱形结构的分布形式不是最佳结构，倒金字塔结构比较合理。即，思考的过程花得时间长些，可以减少后期工作量，少走弯路。

（2）通过数据分析进行科学决策。很多人存在误区，认为数据分析就是做报表、写报告。在大数据时代，数据分析不仅仅停留在此，需要进行深度分析，建立数据化决策的流程。要尊重数据、认识数据，但不迷信数据。在尊重数据、尊重事实的前提下，减少主观因素的干扰，快速做出数据化决策，这是一种能力。（3）大数据时代，数据分析的要义是――简单、迅速、规模化。数据分析的结果要简洁、易懂；数据分析的时间要短，尽可能的自动化地出结果，要快速的满足客户的需求；数据分析的方法能够实现大批量规模化。优秀的数据分析师应具有全局的预见性，一有问题可以马上把该问题打成很碎、很多的问题，甚至把一个问题克隆出很多问题，从而与业务人员建立信任，降低工作量。

（4）从“死”信息中，分离出“活”的信息。大数据有数据量大的问题――产生大量的“死”数据。错误数据是指数据与实际情况不一致，异常数据是指数据正确但数据远离群体的大多数，这类数据情况的处理手段比较成熟。而大数据时代，大量数据是不活跃主体，即“死”数据。因此，需要从高维低密度数据中，提取“活”的信息，发现规律。防止由于“死”信息的存在，导致分析结果不能正确反映“活”的群体特征。

（三）大数据时代，数据分析师的培养

（1）培养核心技术人才，确保长期竞争力。美国在建立全国医疗系统时，将系统外包给了加拿大的一家公司，系统运行的第一天就出现了崩溃。美国政府为此对该模式进行了反思，概括起来有三点：①外包公司设计时只顾满足甲方的眼前利益，不会为甲方的长远利益考虑；②项目外包造成美国技术骨干人员断层，导致出现问题后自身无法解决；③采用该模式导致美国没有了核心技术。

因此，在采用项目外包模式的同时，需要掌握其核心技术。在大数据时代，从数据分析、信息管理、IT技术三个方面保持核心竞争力。需要培养和保持业务、产品设计、数据分析、数据架构等方面的骨干队伍。

（2）建立专业化的大数据分析团队。大数据分析的核心是数学建模，基础是实际业务，结果是自动化程序。在实际工作中需要正确、合理的使用数学建模的思维，构建以数学模型做为基础的数据分析，建立量化管理风险的理念。深刻认识并正确驾驭大数据分析，大数据分析的方法是处于不断发展过程中的，需要根据实际问题，结合实际数据，灵活构建模型。

未来几年必将是数据时代，一定要把这次的数据潮流，不能让自己落伍，为中国的数据事业，尽一份绵薄之力！

在不久的将来，多智时代一定会彻底走入我们的生活，有兴趣入行未来前沿产业的朋友，可以收藏 多智时代 ，及时获取人工智能、大数据、云计算和物联网的前沿资讯和基础知识，让我们一起携手，引领人工智能的未来！