2023.05.26

黑化”AI:造谣、诈骗,堪比幻术

AI在恶人手中成了夺财“鬼影”。

快播创始人王欣在法庭上发表的“技术无罪论”曾在7年前引发全民讨论。出狱后的王欣修正了他的观点:“技术是无罪的,但人会犯错”。

现在,AI这个技术正在落入不法者手中。5月22日,“AI诈骗正在全国爆发”登上了微博热搜榜首。包头警方披露,不法分子利用AI换脸和仿声,在微信视频中蒙混过关,10分钟内骗取事主430万元。

类似事件频频在国内发生。行骗者用AI工具换脸、模拟声音实施了多起诈骗,不少人中招。

有网友用“幻术”形容可易容、能仿声的AI。此外,还有一些人瞅准了ChatGPT的文本能力,专用它生产谣言,博取眼球,吸引流量。

当AI被“黑化”,正邪攻防战也打响了。

AI换脸+仿声,10分钟骗走430万

当知根知底的微信好友拨来视频,对面是熟悉的面孔和声音,一番寒暄后,好友提出有朋友在外地投标,需要借用一下你的公司账户过一下款。过款方式是先把钱转给你,再让你给他的“朋友”账户汇款。你会对整件事情有所怀疑吗?

福州市某科技公司法人代表郭先生没有怀疑,10分钟内打款430万元,但他其实被骗了。

根据“平安包头”5月20日发布的公众号消息,郭先生的微信好友在要了卡号后,声称已经把钱打到了郭先生的账户,还把银行转账底单的截图发给了郭先生。基于视频聊天信任的前提,郭先生没有核实钱是否到账,就把钱打给了对方提供的陌生账户内。

等郭先生再次联系该微信好友,表示事情已经办妥,没想到对方回复了一个“?”。郭先生这才心生疑窦,打去电话两人一对,这才意识到遇到了“高科技”骗局。

原来,和他微信视频过的“好友”,从脸到声音都是假的。郭先生为啥没认出来?AI换脸和仿声发挥了作用。郭先生称,“在视频中确认了面孔和声音,才放松了戒备”。

回头复盘,郭先生唯一的操作失误,就是没仔细确认钱到账,就给对方先打了款。而他之所以会这么做,是因为已经在视频里看到了“好友”的脸、听到了“好友”的声。

更不可思议的是,骗子并非使用冒牌微信账号与郭先生视频,而是直接用其好友的真实账号发起视频聊天。这表明,朋友的微信账号也在神不知鬼不觉间被骗子盗用了,这也是骗子成功施骗的另一个关键。

不幸中的万幸,识别骗局后郭先生第一时间报警,福州、包头两地警银迅速启动止付机制,成功止付拦截336.84万元,但仍有93.16万元被转移,目前正在追缴中。

AI诈骗相关话题引发热议

这起诈骗案件一经披露,迅速引发了广泛关注,“AI诈骗正在全国爆发”更是登上了微博热搜榜首。许多网友称,当强大的AI被坏人利用,危害性比进步性带来的威力还大。

“脸不能信,声音也不能信了,看来以后想不被骗只有两种办法,一是不借,二是没钱”,有网友流露出担忧,毕竟视频连线都能骗人,“你没法确定电话那头跟你聊天的是谁”。

用AI软件造谣、传谣,多人被刑拘

“AI仿声诈骗”这股风还是迅猛地吹到了国内。4月27日,《元宇宙日爆》曾发文 “接到‘女儿’求救电话 亲妈差点被AI仿声骗了” ,那时的案例还发生在美国亚利桑那州,骗子采集女儿的声音,冒充绑匪,让“女儿”在电话里向母亲求救。事后回忆起这一幕时,接到电话的母亲依然对电话里的女儿声音深信不疑。

技术已经就位,AI迅速在恶人手中“黑化”,成为掠夺普通人钱财的鬼影。

据财经网报道,近期,福州的李先生也遭遇了AI诈骗,骗子冒充其领导打来微信视频电话,谎称亲戚参加竞标需要资金,自己不便出面,想借李先生的名义转给亲戚。李先生因此被骗48000元。

小李的大学同学通过QQ跟她借钱。对方打过来一段四五秒的视频电话,小李看到确实是本人,便放心转账3000元。然而,在她第二次转账时发觉异常,再次拨通对方电话,这才得知同学的账号被盗。警方通过侦查发现,此段视频系诈骗分子通过AI技术伪造。

类似案件不胜枚举,微博网友“快乐大吉利”将AI比作幻术。

被“黑化”的AI不止能通过换脸和仿声诈骗,还成了谣言制造机,给被造谣者带来困扰。

今年3月,女孩一丝不挂搭地铁的照片疯传,一些针对照片中人的不良评论出现。结果,有人在某平台找到了与裸照同样姿势的原图,只不过图中的女性穿着衣服,传播的裸照是用AI“一键脱衣”生成的。而照片里的女性本人在生活中已经被各种谣言缠身。

几天前,网上流传“上海市青浦区某幼儿园多名女教师因卖淫被警方处理”的信息,后经青浦公安分局查证,该消息是凭空捏造的谣言,后续在传播过程中,还有人在未经核实的情况下,通过AI软件输入关键词,加工生成一篇题为“上海示范幼儿园教师卖淫被抓”的文章,引发大量网民讨论。上述造谣和传谣者已被警方依法刑事拘留。

青浦公安分局公告的一起AI传谣事件

另有郑州市公安局航空港分局于5月20日公告称,有人为了吸粉引流,利用ChatGPT人工智能软件生成虚假不实信息,在公众平台发布“郑州鸡排店惊现血案,男子用砖头砸死女子”等谣言,被依法采取刑事强制措施。

能帮忙写文案、做策划的AI工具,在不法分子手中成了造谣、传谣的“助手”,AI作为技术工具的黑色一面显露出来。

当AI诈骗频发、谣言满天飞,正与邪的攻防战打响了。包括谷歌、微软在内的科技公司推出了“鉴伪”的相关工具,用技术制裁技术。对于普通人来说,AI诈骗的兴起已经敲响了警钟,面对借钱、汇款等请求,警惕心还需要再提高几个等级,多渠道核实身份成为必要防骗做法。

包头警方提示,针对花样翻新的智能AI诈骗,公众要提高防范意识,不轻易提供人脸、指纹等个人生物信息给他人,不过度公开或分享动图、视频等;网络转账前要通过电话等多种沟通渠道核验对方身份,一旦发现风险,及时报警求助。如果有人自称“熟人”、“领导”通过社交软件、短信以各种理由诱导你汇款,务必通过电话、见面等途径核实确认,不要未经核实随意转账汇款,不要轻易透露自己的身份证、银行卡、验证码等信息。如不慎被骗或遇可疑情形,注意保护证据并立即报警。




上一篇:融资2000万美元,用爬虫技术预测全球供应链风险事件

下一篇:新加坡网络安全技术公司主打“一次性浏览器防止信息泄露