上个月，在斯洛伐克举行关键的全国大选的几天前，一段看似谴责的音频片段开始在社交媒体上广泛传播。一个听起来像是该国进步党领导人迈克尔?ime?ka的声音，描述了一个操纵投票的计划，部分是通过贿赂该国边缘化的罗姆人。
两周后，另一桩明显的政治丑闻浮出了台面:英国工党(labour party)领袖在一段充斥着脏话的长篇大论中痛斥一名员工，这段长篇大论似乎被录了下来，该视频被发布在了Twitter上。
这两段视频很快就被事实核查员揭穿为可能是假的，因为有迹象表明，这些声音是由人工智能软件生成或操纵的。但这些帖子仍然留在Facebook和X等平台上，引发了用户的愤怒评论，他们认为这些帖子是真实的。
人工智能的快速发展使得制作可信的声音变得很容易，从外国演员到乐迷，任何人都可以模仿别人的声音，这导致了网络上大量的虚假内容，造成了不和谐、困惑和愤怒。
上周，演员汤姆·汉克斯(Tom Hanks)在社交媒体上警告他的粉丝，有坏人用他的声音虚假地模仿他兜售牙科计划。今年夏天，抖音账号利用人工智能解码器展示假新闻报道，错误地将前总统巴拉克·奥巴马(Barack Obama)与他的私人厨师之死联系起来。
周四，一个由两党参议员组成的小组宣布了一项名为《No Fakes Act》的法案草案，该法案将对未经本人同意制作或传播人工智能生成的某人的视听或录音复制品的人进行处罚。
虽然专家们早就预测，可生成的人工智能将导致虚假照片和视频的海啸，创造一个没有人能相信他们所看到的任何东西的虚假信息环境，但正在出现的是一场音频危机。
“这不是假设，”加州大学伯克利分校(University of California at Berkeley)数字取证教授哈尼·法里德(Hany Farid)说。你说的是暴力，你说的是选举舞弊，你说的是欺诈——这对个人、社会和民主都有现实世界的后果。”
他们的声音就是他们的生计。现在人工智能可以把它拿走。
语音克隆技术在过去的一年中发展迅速，廉价、容易获取的在线工具的激增使得几乎任何人都可以在自己的卧室里发起一场复杂的音频活动。
一般人很难发现虚假的音频宣传，而图像和视频仍然有明显的奇怪之处——比如变形的手和扭曲的文字。
“当坏人利用奥巴马的脸时，他看起来还是有点不像塑料，”追踪网络错误信息的NewsGuard的研究员杰克·布鲁斯特(Jack Brewster)说。“但是他的声音非常好——我认为这是最大的不同。”
社交媒体公司也发现很难调节人工智能生成的音频，因为人类事实核查员往往难以发现虚假内容。与此同时，很少有软件公司有防止非法使用的护栏。
此前，语音克隆软件制造出的是机械的、不现实的声音。但是计算能力越来越强，软件也越来越精致。其结果是，技术可以分析数以百万计的声音，找出基本语音单位(称为音素)的模式，并在几秒钟内复制它。
语音克隆软件公司Eleven Labs推出的在线工具允许几乎任何人上传某人几秒钟的声音，输入他们想要的声音，并迅速创建一个深度伪造的声音——所有这些都需要每月支付5美元的订费。
他们以为是亲人在呼救。这是一个人工智能骗局。
多年来，专家们一直警告说，人工智能驱动的“深度造假”视频可能被用来让政治人物看起来说过或做过破坏性的事情。斯洛伐克的一连串错误信息预示着这种情况将如何开始发挥作用——人工智能生成的音频，而不是视频或图像，扮演着主角的角色。
在Facebook上，听起来像?ime?ka和记者的音频片段在他们各自面部的静止图像上播放。两人都谴责这段音频是假的，法新社(Agence France-Presse)的事实核查认定，这段音频可能全部或部分由人工智能工具生成。9月30日大选前，Facebook在这段视频上贴上了警告标签，指出它已被揭穿。meta发言人Ryan Daniels表示:“当内容经过事实核查时，我们会在feed中标记并降低其排名。”
但该公司没有删除视频，丹尼尔斯说，它被认为没有违反Facebook关于操纵媒体的政策。Facebook的政策专门针对被篡改的视频，但在这种情况下，被篡改的不是视频，而是音频。
总部位于伦敦、研究社交媒体对民主影响的非营利组织Reset的研究发现，在大选前的几天里，Facebook、Instagram、Telegram和TikTok上还出现了其他几个伪造音频的例子。其中包括该国极右翼共和党(Republika)的一则广告，其中一个听起来像?ime?ka的声音说，他“曾经相信70种性别和怀孕的男人”，但现在支持共和党。视频最后的免责声明说:“视频中的声音是虚构的。”
这段视频出现在Facebook上，没有经过事实核查，而是由一位共和党领导人作为广告在该平台上进行宣传。根据Facebook的广告库，在大选前三天，这条广告的浏览量达到了5万到6万。
大约300万人在议会选举中投票，亲俄罗斯的民粹主义政党击败?ime?ka的进步党获得最多席位。选举结束后，斯洛伐克停止了对乌克兰的军事援助。
与Reset合作进行研究的数据科学家、俄罗斯虚假信息专家罗尔夫·弗雷德海姆(Rolf Fredheim)说，人工智能生成的语音伪造对选举结果有什么影响(如果有的话)尚不清楚。但事实上，它们在斯洛伐克“像野火一样蔓延”，这意味着这种技术可能会在未来的欧洲和其他地方的选举中得到更多的尝试。
与此同时，有可能成为下一任首相的英国工党领袖凯尔?斯塔默(Keir Starmer)涉嫌伪造的音频片段，在没有任何事实核查或警告标签的情况下，仍然留在X上。
对人工智能生成的内容误导选民的担忧并不仅限于欧洲。10月5日，美国参议员艾米·克洛布查尔(明尼苏达州民主党人)和众议员伊维特·d·克拉克(纽约州民主党人)向meta和X的首席执行官发出了一封公开信，对人工智能生成的内容在其平台上的政治广告中的“新兴用途”表示“严重关切”。这两位政治家在5月份提出了一项法案，要求对使用人工智能生成的图像或视频的政治广告进行免责声明。
欧盟专员蒂埃里·布雷顿(Thierry Breton)周三在一封信中敦促meta首席执行官马克·扎克伯格(Mark Zuckerberg)概述他的公司将采取哪些措施来防止深度造假的扩散，因为波兰、荷兰和立陶宛等国将在未来几个月进行投票。
名人警告粉丝不要被人工智能深度造假所欺骗
人工智能音频的阴谋论也在社交媒体平台上广泛传播。今年9月，NewsGuard在TikTok上发现了17个使用人工智能文本转语音软件生成传播错误信息的视频的账户，这些账户获得了超过3.36亿次观看和1450万次点赞。
最近几个月，这些账号利用人工智能解说员制造假新闻报道，声称奥巴马与他的私人厨师塔法林·坎贝尔(Tafarin Campbell)的死亡有关;电视节目主持人奥普拉·温弗瑞是一个“性交易者”;演员杰米·福克斯因冠状病毒疫苗瘫痪失明。据NewsGuard报道，只有在TikTok意识到其中一些视频后，他们才将其删除。
TikTok的发言人阿丽亚娜·德塞利耶斯(Ariane de Selliers)在一份声明中说，该公司“要求创作者给人工智能生成的真实内容贴上标签，并且是第一个开发工具来帮助创作者做到这一点的平台，认识到人工智能可以如何增强创造力。”
布鲁斯特的公司进行了这项研究，专门研究虚假信息，他说语音深度伪造是一个独特的挑战。它们不像人工智能生成的视频或图像那样容易显示自己的“故障”，这些视频或图像通常会给人们带来八根手指等奇怪的东西。
虽然开发人工智能文本转语音工具的公司有软件来识别语音样本是否是人工智能生成的，但这些系统并没有被公众广泛使用。
由于非英语音频数据集的增加，语音软件在复制外语方面也有所改进。
专家补充说，其结果是，在可能正在经历战争或不稳定的国家，人工智能语音深度造假活动更多。例如，在苏丹，据BBC报道，据称该国前领导人奥马尔·巴希尔(Omar al-Bashir)被泄露的录音在社交媒体平台上广泛传播，造成了公民的困惑，因为巴希尔被认为病得很重。
在社交媒体平台可能基本上取代互联网的国家，没有一个强大的事实核查员网络来确保人们知道病毒式传播的声音片段是假的，这使得这些外语深度造假尤其有害。
法里德说:“我们确实看到这些录音在世界各地传播。”“在这样的世界里，核实事实要困难得多。”
特朗普被捕的假照片显示了人工智能颠覆性力量的“巨大进步”
最近，哈利·斯泰尔斯的粉丝们陷入了困惑。今年6月，疑似“泄露”的斯泰尔斯(Styles)和单向乐队(One Direction)的歌曲片段出现在消息渠道Discord上，卖给急切的粉丝，有时每个售价数百美元。但几位“超级粉丝”迅速剖析了这些音乐，认为这些歌曲是人工智能生成的音频。
404媒体对音频进行了自己的调查，发现一些样本听起来合法，而另一些则“粗略”。哈里·斯泰尔斯的代表没有就泄露的音频是真的还是人工智能伪造的置评请求作出回应。
加州大学伯克利分校的法里德表示，最终的责任在于社交媒体公司，因为它们要对内容的传播和放大负责。
尽管每天有数百万的帖子上传到他们的网站上，但最精明的虚假信息可以追溯到少数拥有大量粉丝的个人资料。法里德补充说，取消这些限制不符合这些公司的利益。
“如果他们愿意，他们现在就可以关掉水龙头，”他说。“但这对生意不好。”
