利用AI技术 黑客能用麦克风听出你在屏幕上看什么

据《连线》网站报道，你可能认为只有通过观看电脑屏幕才能看到屏幕上的东西。但一个研究团队发现，他们能够通过监听和分析显示器正常发出的超声波，收集到惊人数量的信息，比如显示器上面输入的内容。这项技术于周二在圣巴巴拉举行的Crypto 2018年大会上进行了演示。它可以让攻击者通过分析在屏幕附近录到的录音——比如来自网络电话或者视频聊天的录音——来发起各种形式的秘密监视。

之后，攻击者可以根据泄露的声音提取有关显示器上的内容的信息。虽然距离越远信号越弱，特别是使用低质量的麦克风的时候，但研究人员仍然可以从在30英尺远的地方取得的录音提取显示器发出的声音。

特拉维夫大学和哥伦比亚大学的密码学和系统安全研究员伊兰·特罗默（Eran Tromer）参与了这项研究，他说道，“我想，我们可以从中学习该如何去适应我们的物理环境中的意外情况，以及理解我们使用的这些设备背后的物理机制。”声泄漏是“一种现象，在这个例子中这不是设计师有意而为的，但它确实存在，因此形成了安全漏洞。”

被攻击是有可能的，原因是所谓的“物理侧信道”——数据暴露不是来自软件错误，而是来自于泄露计算机硬件和它处理的数据之间的信息的无意交互。在对显示器的研究过程中，研究团队——还包括密歇根大学的丹尼尔·吉恩金（Daniel Genkin），宾夕法尼亚大学的米希尔·帕塔尼（Mihir Pattani），特拉维夫大学和康奈尔科技学院的罗埃·舒斯特尔（Roei Schuster）——发现，在他们调节电流的时候，很多屏幕的电源板发出高音或者听不见的吱吱声。这种吱吱声是根据屏幕的内容渲染 处理器 的不同功率需求而改变的。用户数据和物理系统之间的这种连接带来了意想不到的监听机会。

“有一天，我碰巧在浏览一份特别枯燥乏味的法律协议，上面有很多行小字体。”特罗默说道，“那些字实在太小了，于是我将其放大，然后我意识到房间里的环境噪音发生了变化。于是我将字体缩小回来，声音也随之变回来了。过了一会，我意识到是某种图像周期性的东西在影响声音的周期性。”

研究人员测试了几十台不同尺寸的液晶显示器，从中发现它们发出各种各样的声音。他们测试的显示器在2003年至2017年之间出产，涵盖了几乎所有的主流制造商。

所有的电子产品都会发出呼呼声和吱吱声，但显示器会产生一种特定的被证明对攻击者特别有用的声音。“这种声音的特点是频率很高，因此它可以承载多得多的信息。”舒斯特尔指出，“它确实是受到了某种敏感的东西的调节，在这里就是屏幕信息。”

在证实了那些超声波以后，研究人员接着试图基于它们来提取信息。他们 开发 了一个程序，生成不同的黑白相间的线条或组块，然后在循环显示它们时录制音频。有了一定的数据基础以后，他们就开始在显示器上展示热门 网站 、谷歌Hangouts和人脸，同时进行测量，看看是否能够透过录音将它们区分开来。

屏幕上显示斑马条纹图案时的屏幕信号频谱图

研究团队将所有的这些信息作为训练数据输入到机器学习算法当中，并开始根据录音中捕捉到的听不见的声音，对屏幕上的内容进行越来越精确的解读。对于一些斑马图案和网站，研究人员有90%至100%的成功率。他们甚至开始注意到，他们的系统有时可以从他们的机器学习模型从未遇到过的屏幕录音中提取有意义的数据。

“即使攻击者不能在特定的显示器型号上进行演练，他们的攻击也还是很有可能会成功。”舒斯特尔称。

随后，研究团队扩大了研究范围，训练该系统破译屏幕上的字母和单词。虽然这是一个更具挑战性的任务——单词不像网站布局那样遵循可靠的视觉模式——但研究人员可以在大字体的单词上产生靠谱的结果。正如吉恩金所指出的，白色屏幕上的黑字在很多方面与斑马纹相似，虽然单词组合有无数种，但系统只需要学习罗马字母表中的26个字母。

研究人员甚至意识到，他们可以检测出人们在智能手机屏幕键盘上输入了些什么，有一定的准确性。通常情况下，数字键盘被认为比机械键盘更加安全，因为机械键盘在用户进行输入时会发出声音，造成输入内容的泄露。研究证明，数字键盘也不能幸免于这些声音侧信道的攻击。

虽然研究人员在一些实验中使用了高质量的专业麦克风，但他们主要是研究消费级的麦克风，比如网络摄像头和智能手机上的麦克风。他们发现，它们完全可以被利用来提取屏幕发出的声音。例如，如果攻击者想监视与她 视频 聊天的人的屏幕，她只需录下来自他们的麦克风的声音输出即可。

在另一个场景下，比如面试时，攻击者可以把智能手机放在他们旁边的桌子或椅子上，在面试官盯着背对攻击者的屏幕时，利用手机来录下房间里的噪声。研究人员还注意到，智能助手设备中的麦克风可以接收到显示器的声音。因此，如果你把这些设备放在你的显示器附近，智能助手发送到云处理平台的音频片段很可能就来自该显示器。由于来自显示器发出的声音主要是超声波，像喧闹的音乐或者说话这样的听得见的声音不会干扰到麦克风的接收能力。

研究人员说，这凸显了减轻这些攻击的巨大挑战。在大多数的空间全面部署无线电频率来干扰屏幕发出的声音，是不切实际的。制造商可以在显示器内部更好地保护电子元件，但这会增加制造成本。另一种解决方案是，开发专门的反制软件，操控显示器正在处理的信息，使其更难识别。但你需要将这些措施嵌入到每一个应用程序当中，研究人员坦言这可能不现实。不过，至少在浏览器或人们经常使用的视频聊天程序上面，值得考虑那么做。

对于黑客来说，使用这种的声屏障攻击显然比网络钓鱼或用恶意软件感染电脑要复杂得多，也需要耗费更多的精力。但研究人员表示，他们对自己能达到的精确度感到惊讶，而有动机的攻击者可能会进一步完善他们的机器学习技术。鉴于如今有如此之多的屏幕在无意间泄露这些信号，对于技术娴熟且有足够动力去尝试的攻击者来说，这个世界就像是一个游乐场。