AI 犯错谁之过？切勿盲目相信之

别误会，我其实很喜欢 机器学习和人工智能 ，但我不会盲目地相信它们，你应该也是吧，因为建立有效的、可信任的 人工智能或机器学习 解决方案是一个建立信任的过程。

吧。

设定场景

欢迎吸猫。在之前的文章中我们建立了一个分类器将以下这六张图片分为两组。

成功地返回了我所期望的结果！

这些图像中共有两只猫，并且模型成功地返回了他们的标签。这意味着我成功地建立了一个 Tesla 和 Huxley 分类器，对吗？

我们的想法欺骗了我们

还没这么快！其实我们的期望欺骗了我们！仔细观察这些图片，你会发现，在所有 Tesla 的图片背景中都有散热器，而 Huxley 的则没有。

猫咪检测器还是散热器检测器？

很不幸，实验结果表明，这的确是一个散热器检测器。使用新样本进行测试可能会有所帮助，所以让我们看看是否以这种方式解决问题……

即使我使用新数据（这些新图片）来测试它，也不会有太多的错误，所以我们的分类器到底有问题吗？

假设 Tesla 总是和散热器一起而 Huxley 总是不和散热器一起，那么谁会在乎它是如何工作的？它总能奏效。它每次都会给出合适的分类，如果是这样就没有问题了。

但这真的是一个很大的假设。如果猫搬到另一间公寓了会怎样？如果你直接使用我的分类器对你的图片进行分类会怎样？

在这些情况下，返回的标签将是“Huxley”，依赖了我的检测器的任意一个关键任务系统都会发生崩溃。

这到底是谁的错？

让我们先分析一下：

• 将像素转换为标签的方法太过复杂，搞得我一头雾水。

• 我观察到的只是输入（像素）和输出（Hux / Tes 标签）。

• 因为我是人，我没有注意到眼皮底下的一些细节（散热器和 Tes 总是一起出现）。

• 我告诉自己关于输入如何与输出相关的故事不仅被简化了，而且还一厢情愿地偏离了对散热器的解释。

• 只要我确信过它确实有效，就不必理解它的工作原理的。

• 检查它是否有效的方法是评估它如何处理以前没有见过的一组相关样本。

到现在为止还挺好，实际上还没有什么问题。你相信很多东西，却不知道它们是如何起作用的，例如我们许多人因为头痛而服用 扑热息痛 。它的确有效， 但科学也无法解释为什么 。重要的是，你可以验证扑热息痛确实有效。

把复杂的 AI 系统想成头痛治疗一样。只有确保它们有效，你就会没事。那么是不是这个系统就没有问题了？

可惜的是，我检查了一些样本，这些样本与我希望系统使用的样本不同。

这一次，它出了大问题。只要我们使用适当的样本适当地测试系统，其他就不会有问题。所以答案是： 这是我的人为错误 。

如果教学的时候我不按考点来教学生，那么他们考试成绩很差不应该是理所当然的吗？如果我的所有样本都来自 Tes 和散热器总是在一起的世界，那么我只能期望我的分类器只能在那个世界中是有效的。当我把它移到另一个世界，就等于把它放在一个不属于它的地方。应用程序最好是低风险的，因为“我不知道它在超出预设时就不奏效”这样的借口是不存在的。如果你以前不明白，那么现在应该知道了吧。

这就是为什么从一开始就要考虑到你的 目标和用户 ，这点很重要。开始之前一定要指定规格和设置。 负 起一个成年人的责任，否则你只能开发一些玩具一样的应用程序。

如果没有熟练和负责任的领导力，我希望你的应用程序永远不要涉及任何人的健康、安全、尊严或未来的事情......

是常识，不是魔术

我一直在使用“样本”这个词而不是“数据”（实际上它们是同样的东西）来提醒你这不是魔术。 ML / AI 的要点是，你使用样本而不是描 述来 表达你所期望的结果 。为了使它起作用，这些样本必须是相关的。并且，任务越复杂，你所需要的样本就越多。你每天都使用样本进行交流，因此你已经知道了这些内容。也许你想知道数学是否表达了不一样的东西，实际上它没有。请放心，常识是你最好的算法。

### 盲目的信任是一件可怕的事情

在你规定的条件之外，你对系统的安全性一无所知，因此请注意：

• 如果你没有测试它，不要相信它。

• 如果你没有在【环境】中测试它，请不要相信它在【环境】中的结果。

• 如果你没有使用【用户群】进行测试，请不要相信【用户群】使用它得到的结果。

• 如果你没有使用【数据组】进行测试，请不要相信系统在【数据组】上的结果。

• 如果输入异常，请不要相信你的系统输出是合理的。考虑使用异常值检测和安全网。

如果你使用的 工具 尚未经过测试，那么你的工具导致的错误应该算到你头上。A 也只是一种工具而已。

查看原文： https://towardsdatascience.com/dont-trust-ai-10a7df520925

链接： http://t.cn/E28YBT9