利用AI技术，黑客能用麦克风听出你在屏幕上看什么

本篇文章1420字，读完约4分钟

8月25日消息，据《连线》网站报道，你可能认为你只能通过看电脑屏幕才能看到屏幕上的东西。然而，一个研究小组发现，通过监控和分析通常由显示器发出的超声波，他们能够收集惊人数量的信息，例如显示器上的输入。

这项技术于周二在圣巴巴拉举行的2018密码会议上展示。它允许攻击者通过分析屏幕附近记录的记录，如网络电话或视频聊天记录，发起各种形式的秘密监视。之后，攻击者可以根据泄漏的声音提取关于显示器上内容的信息。尽管信号离得越远，信号就越弱，特别是当使用低质量的麦克风时，研究人员仍然可以从30英尺外的录音中提取出监视器发出的声音。

特拉维夫大学和哥伦比亚大学的密码学和系统安全研究员埃兰·特罗姆参与了这项研究。他说:“我认为我们可以学习如何适应物理环境中的意外情况。”了解我们使用的这些设备背后的物理机制。”声音泄漏是“一种现象”。在本例中，这不是设计者有意为之，但它确实存在，从而形成了一个安全漏洞。”

被攻击是可能的，因为所谓的“物理端通道”——数据暴露不是来自软件错误，而是来自无意的交互，这种交互泄露了计算机硬件和它处理的数据之间的信息。在研究显示器的过程中，研究小组——包括密歇根大学的丹尼尔·根金、宾夕法尼亚大学的米希尔·帕塔尼、特拉维夫大学的罗伊·舒斯特和康奈尔理工学院——发现，当他们调整电流时，许多屏幕会发出高音或听不见的尖叫声。该吱吱声根据屏幕的内容呈现处理器的不同功率需求而改变。用户数据和物理系统之间的这种联系带来了意想不到的倾听机会。

“有一天，我碰巧在浏览一份特别无聊的法律协议，上面有很多小字体。”特罗姆说:“那些字太小了，所以我把它们放大了，然后我意识到房间里的环境噪音已经改变了。”所以我把字体缩小了，声音也变了。过了一会儿，我意识到图像中的周期性影响了声音的周期性。”

研究人员测试了几十个不同尺寸的液晶显示器，发现它们发出不同的声音。他们测试的显示器是在2003年至2017年间生产的，涵盖了几乎所有主要制造商。

所有的电子产品都会尖叫，但是显示屏会发出一种特殊的声音，这种声音已经被证明对攻击者特别有用。"这种声音的特点是频率高，所以它能携带更多的信息."Schustr指出，“它确实受到一些敏感信息的管制，这里是屏幕信息。”

在确认这些超声波之后，研究人员试图根据它们提取信息。他们开发了一个程序来生成不同的黑白线条或块，然后在循环显示它们的同时录制音频。在有了一定的数据库后，他们开始在显示器上显示热门网站、谷歌闲逛的地方和面孔，同时进行测量，看是否可以通过记录来区分它们。

屏幕上显示斑马条纹图案时的屏幕信号频谱

研究小组将所有信息作为训练数据输入到机器学习算法中，并开始根据录音中捕捉到的听不见的声音越来越准确地解释屏幕上的内容。对于一些斑马图案和网站，研究人员有90%到100%的成功率。他们甚至开始注意到，他们的系统有时可以从屏幕记录中提取有意义的数据，这是他们的机器学习模型从未遇到过的。

“即使攻击者不能在特定的显示模型上进行演练，他们的攻击仍有可能成功。”舒斯特说。

随后，研究小组扩大了研究范围，并训练系统破译屏幕上的字母和单词。尽管这是一项更具挑战性的任务——单词不像网站布局那样遵循可靠的视觉模式——研究人员可以对大字体的单词产生可靠的结果。正如吉恩·金指出的那样，白色屏幕上的黑色字符在许多方面与斑马图案相似。尽管单词的组合数不胜数，但系统只需要学习罗马字母表中的26个字母。