AI干货（一）:为什么说基于机器学习的AI预测更智能？

在观远数据“AI+BI”的服务模式中，AI技术作为跨越敏捷分析到智能决策的关键推力，一直以来引起了众多企业客户的好奇与关注。因此我们推出了这一特别企划，希望借此机会与大家分享观远团队关于AI技术的各项认知，并结合我们与500强企业合作的最佳实践案例，为AI技术在零售行业落地提供建议指导。

接下来，就跟着我们一起进入AI的神秘世界吧！

趋势

当下，人工智能已成为科技领域最热门的技术。机器学习、深度学习、人脸识别、无人驾驶、NLP，各种名词不绝于耳。人工智能的应用一方面在不断改变我们每个人的生活方式，另一方面也在逐渐改变着企业的经营模式、决策方式。越来越多的企业经营者、高级管理人员、决策者都在这场了解人工智能的竞赛中感到焦虑，他们意识到，人工智能即将从根本上改变他们的行业。

在这场轰轰烈烈的人工智能浪潮中，我们发现，对于商业企业来说，人工智能并没有给他们带来太多所谓的智能， 它带来的是智能的一个关键组成部分——AI预测。

预测是根据事物以往和现今的数据，通过一定的科学方法和逻辑推理，对事物未来发展的趋势作出预计、推测和判断，寻求事物的未来发展规律。预测不仅研究事物的本身，而且还要研究它和环境之间的相互作用、相互影响。预测的过程就是在调查研究或科学试验的基础上的分析过程，简称为预测分析。

预测实际上是一种填补缺失信息的过程。比如将非常规的信用卡交易归类为盗刷，将医学影像中的肿瘤分类为恶性，或是判断当前拿着手机的人是否是真正的机主，即运用你现在掌握的信息（通常称为数据），生成你尚未掌握的信息。 这既包含了对于未来数据的时序预测，也包含了对当前与历史数据的分析判断，是更广义的预测。

在人工智能技术介入前，预测早已随处可见，小到个人股票投资，大到企业经营决策、国家制订国民经济发展规划，社会的方方面面无不体现着预测的重要性。而人工智能的飞速发展，将为预测技术提供了更多可行的思路和方案， 使得预测的准确度能够得到有效提升，为各行各业提供超越传统统计学分析的决策支持能力 。

这当中，更为重要的是，AI预测更廉价 。 “如果某样东西的价格下降，那么我们会更多地使用它。”——这是最简单的经济学，如今这种情况正出现在预测领域。运算的成本变得足够低，继而帮助我们快速找到成千上万种应用方式。 预测成本的下降也将影响其他东西的价值：比如提高互补品（数据、判断和行动）的价值，以及降低替代品（人类预测）的价值。

智能

那么，预测技术发展到如今，何以称得上智能呢？回过头来看， 应该归功于更好的数据、模型和计算能力 ，它们促使预测技术飞速发展，从而走上“智能”之路。机器学习便是功臣之一。

历史上，预测的主流分析方法是使用数据挖掘的一系列技术，而这其中被经常使用的是一种被称为“回归”的统计技术。回归做的是什么？它主要是根据过去发生时间的“平均值”来寻找一种预测。当然，回归也有很多种实现方式，有简单的线性回归，多项式回归，也有多因素的Logistic回归，本质上都是一种曲线的拟合，是不同模型的“条件均值”预测。

在机器学习之前，多元回归分析提供了一种处理多样条件的有效方法，可以尝试找到一个预测数据失误最小化，“拟合优度”最大化的结果。但是， 回归分析中，对于历史数据的无偏差预测的渴求，并不能保证未来预测数据的准确度 ，这就是所谓的“过渡拟合”。

与回归分析不同， 机器学习的预测不追求平均值的准确性，允许偏差，但求减少方差。 过去，由于数据和计算能力的匮乏，机器学习的表现不如回归分析来得好。但如今，一切都不一样了，随着数据体量的不断增长，计算能力的不断提升， 使用机器学习和（神经网络）深度学习来做预测效果比其他所有方法表现得都要更好，这使得我们利用统计学进行预测的方法发生了彻底的转变。 把人工智能与机器学习的最新发展作为传统统计学的延伸与加强这是非常诱人的想法！你会发现，这其实跟观远数据AI+BI核心战略是一致的。

那么，如果仅仅是预测，为什么能称得上“智能”呢？这是因为，某些情况下，我们预测的效果已经好到我们可以直接用来做决策，而无需再应用基于规则的逻辑。这其实也在改变着计算机编程的方式。

想象一下，原先复杂的业务场景下，基于“if...then...”以及传统的统计学方法来实现的代码逻辑，总是无法覆盖所有的条件组合。而近年来， 支撑预测方法进步的一种黑科技叫做“ 深度学习”，它与人类大脑有着类似的工作方式，利用“反向传播”的方法从数据中不断训练、反馈、学习，获取“知识”。 就预测而言，随着不断的训练、自我学习，预测模型会得到不断优化，预测准确性也在随着学习而改进，而越来越高的预测准确性为商业决策提供了可信赖的基础。

预测支持决策

一个完整的预测支持决策的回路包括下图所示8个组成部分。这中间， 数据在整个历史数据输入、模型训练、数据预测、决策、执行、结果收集、数据反馈的完整回路中流转。

▧ 数据清洗与特征工程是有效输入的核心。实际情况中，由于预测项目开始前对数据的统一管理不够重视，对历史数据进行清洗整理会占掉整个预测项目的近一半时间。数据质量的优劣，其实是预测项目成败极其重要因素。而有了优质的数据，提取恰当的特征也是预测成功与否的重中之重。

▧ 足够丰富的带特征数据是预测模型得以训练的基础。

▧ 预测是决策的核心输入。依赖训练得到的模型与未来有限的确定因素，来为决策提供数据预测支持。

▧ 而决策执行的结果又将反馈到训练模型，优化预测。