论文中的准确率指标靠谱吗?5个机器学习悖论改变你对数据的看法

栏目: 数据库 · 发布时间: 5年前

内容简介:道路越多越拥堵、越智能的算法需要的计算力越少。这些反常识的机器学习悖论你知道是怎么回事吗?悖论是在哲学和数学中常见的一种问题,它是根据假设前提得出了两种互相矛盾的结果。AI就是重构人类的认知方法,所以机器学习也会产生一些悖论。

晓查 编译自 Medium

量子位 报道 | 公众号 QbitAI

论文中的准确率指标靠谱吗?5个机器学习悖论改变你对数据的看法

道路越多越拥堵、越智能的算法需要的计算力越少。这些反常识的机器学习悖论你知道是怎么回事吗?

悖论是在哲学和数学中常见的一种问题,它是根据假设前提得出了两种互相矛盾的结果。AI就是重构人类的认知方法,所以机器学习也会产生一些悖论。

最近,数据科学家Jesus Rodriguez总结了机器学习解决方案中最著名的5个悖论,或许能帮助你更深刻地理解AI中的数据, 避免在处理数据的时候出现一些低级错误

论文中的准确率指标靠谱吗?5个机器学习悖论改变你对数据的看法

Simpson悖论

这个悖论是以英国数学家Edward H. Simpson的名字命名的。

Simpson悖论是指在分类统计时,某组数据具有优势,而把所有数据组合起来的时候,这种优势却消失了。

1973年,伯克利大学由于女性在入学时存在性别差异而被起诉。有人调查了伯克利大学研究生院的录取率发现:各学院女性入学率均高于男性,但是总体入学率反而低于男性。这怎么可能?

在这个具体的例子中,妇女大量申请入学率低的学校:像法律和医学。这些学校录取的学生不到10%。因此,接受的女性比例非常低。另一方面,男性往往更多地申请入学率高的学校:与工程学一样,入学率约为50%。因此,接受的男性比例非常高。

论文中的准确率指标靠谱吗?5个机器学习悖论改变你对数据的看法

论文中的准确率指标靠谱吗?5个机器学习悖论改变你对数据的看法

在这个具体的案例中,因为女性大量申请入学率低的学院,比如法律和医学,这些学院的录取率甚至不到10%;而男性往往更多地申请入学率高的学院,比如工程,录取率高达50%。因此,男性总的录取率高于女性。

用机器学习的术语来说,就是简单平均值不考虑整个数据集内特定类别的关联性。

许多无监督学习算法推断出不同训练数据集的模式,当这些数据集组合起来时会产生矛盾。

Braess悖论

这个悖论是德国数学家Dietrich Braess在1968年提出的。他以拥堵的交通网络为例:

在道路网络中增加一条道路可能会阻碍交通,而封闭一些道路可能会缩短出行时间。

论文中的准确率指标靠谱吗?5个机器学习悖论改变你对数据的看法

Braess的推理是基于这样一个事实:在纳什均衡博弈中,司机没有动力改变他们的路线。根据博弈论,如果其他人坚持同样的策略,那么这个人从新策略中将不会有任何收获。

在上图中,从A点到D点有A→B→D和A→C→D两条路可走,当开通近道B→C后,所有车都走近道,导致拥堵。

对于司机来说,策略就是一条路线。就Braess悖论而言,尽管整体表现有所下降,但司机们将切换道路,直到达到纳什均衡。因此,与直觉相反,关闭某些道路可能会缓解拥堵。

Braess悖论在自主的多智能体强化学习场景中非常重要,在这种场景中,模型需要基于未知环境中的特定决策来奖励智能体。

Moravec悖论

上世纪80年代,卡内基梅隆大学移动机器人实验室主任Hans Moravec,对AI模型获取知识的方式提出了一个反直觉的命题:

高级推理比低级无意识认知需要更少的计算力,它与“计算力越强则系统越智能”的直观概念背道而驰。

一种简单的解释Moravec悖论的方法是:

AI模型可以完成非常复杂的统计和数据推理任务,这些任务对人类来说是不可能的。然而,许多对人类来说微不足道的任务,比如抓取物体,需要复杂的AI模型。

论文中的准确率指标靠谱吗?5个机器学习悖论改变你对数据的看法

正如Moravec所说的,“让计算机在智力测试或玩跳棋时表现出成人水平的表现相对容易,而在感知和移动性方面,让它们具备一岁孩子的能力却很难,甚至不可能做到。”

从机器学习的角度来看,Moravec悖论在迁移学习方面非常适用。迁移学习的目的是在不同的机器学习模型中推广知识。此外,Moravec悖论告诉我们,机器智能的一些最佳应用将是人与算法结合。

准确性悖论

准确性(Accuracy)悖论与机器学习直接相关。

与直觉相反,准确性并不总是对预测模型有效性进行分类的良好指标。

怎么解释这样一个复杂的表述呢?准确性悖论源于不平衡的训练数据集。

例如,在A疾病的发病率较高的数据集中,发现了99%的病例,那么预测发现A疾病的准确率为99%是完全具有误导性的。

理解准确度悖论的一个更简单的方法是在机器学习模型中找到精确率(precision)和召回率(recall)之间的平衡。

在机器学习算法中, 精确率定义为你对正确的预测中哪一部分是有效的,它=真阳性/(真阳性+假阳性)。召回率指标衡量你实际上预测正确的概率,它=真阳性/(真阳性+假阴性)。

论文中的准确率指标靠谱吗?5个机器学习悖论改变你对数据的看法

在许多机器学习模型中,精确率和召回率之间的平衡可以获得更好的准确度。

例如,在用于欺诈检测的算法的情况下,召回率是更重要的指标。即使存在一些误报也要尽可能抓住每一种可能的欺诈行为。

另一方面,如果为情绪分析创建算法,并且需要的只是在推文中指出的高级情感概念,那么精确度更重要。

哥德尔悖论

哥德尔悖论将机器学习模型的能力与哥德尔不完备定理联系起来。1931年,数学家哥德尔发表了他的两个不完备性定理:

使用标准数学语言无法证明某些命题是真是假。

也就是说,数学是一种不足以理解宇宙某些方面的语言。这些定理被称为哥德尔的连续统假设。

论文中的准确率指标靠谱吗?5个机器学习悖论改变你对数据的看法

在最近的一项工作中,以色列理工学院的AI研究人员将哥德尔连续统假设与机器学习模型的可学习性联系起来。

研究人员证明,如果连续统假设是真的,一个小样本就足以进行推断。但是如果它是假的,没有一个有限样本是足够做推断的。

通过这种方式,他们表明可学习性的问题相当于连续统假设问题。

简单来说,研究中的数学证明表明,AI问题受到哥德尔连续统假设的影响,这意味着AI可能无法解决许多问题。

虽然这个悖论在今天对现实世界中的AI问题影响不大,但对于AI在将来的发展是至关重要的。

总结

悖论在机器学习问题中无处不在。虽然算法没有常识的概念,它们可能不受统计悖论的影响。

然而,大多数机器学习问题需要人工分析和干预,并且基于人类收集和标记的数据集,我们还将在很长一段时间内生活在一个悖论的世界中。

原文链接:

https://towardsdatascience.com/five-machine-learning-paradoxes-that-will-change-the-way-you-think-about-data-e100be5620d7

— 完 —

小程序|get更多AI资讯与资源

加入社群

量子位AI社群开始招募啦,量子位社群分:AI讨论群、AI+行业群、AI技术群;

欢迎对AI感兴趣的同学,在量子位公众号(QbitAI)对话界面回复关键字“微信群”,获取入群方式。(技术群与AI+行业群需经过审核,审核较严,敬请谅解)

论文中的准确率指标靠谱吗?5个机器学习悖论改变你对数据的看法

量子位  QbitAI · 头条号签约作者

վ'ᴗ' ի 追踪AI技术和产品新动态

喜欢就点「在看」吧 !


以上所述就是小编给大家介绍的《论文中的准确率指标靠谱吗?5个机器学习悖论改变你对数据的看法》,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对 码农网 的支持!

查看所有标签

猜你喜欢:

本站部分资源来源于网络,本站转载出于传递更多信息之目的,版权归原作者或者来源机构所有,如转载稿涉及版权问题,请联系我们

旷世之战――IBM深蓝夺冠之路

旷世之战――IBM深蓝夺冠之路

纽伯 / 邵谦谦 / 清华大学出版社 / 2004-5 / 35.0

本书作者Monty Neworn是国际计算机象棋协公的主席,作者是用生动活泼的笔触描写了深蓝与卡斯帕罗夫之战这一引起全世界关注的历史事件的前前后后。由于作者的特殊身份和多年来对计算机象棋的关心,使他掌握了许多局外人不能得到的资料,记叙了很多鲜为人知的故事。全书行文流畅、文笔优美,对于棋局的描述更是跌宕起伏、险象环生,让读者好像又一次亲身经历了那场流动人心的战争。 本书作为一本科普读物......一起来看看 《旷世之战――IBM深蓝夺冠之路》 这本书的介绍吧!

HTML 编码/解码
HTML 编码/解码

HTML 编码/解码

UNIX 时间戳转换
UNIX 时间戳转换

UNIX 时间戳转换

RGB HSV 转换
RGB HSV 转换

RGB HSV 互转工具