演员文正永本人正在看一段短视频，无意中发现“他”正在直播。当她在评论区提问时，就被屏蔽了，并被赶出了直播间。不过，对方依然用“他的脸”来直播产品。
文正英近期遭遇的“假直播”事件，就是AI换脸技术被滥用的典型写照。模仿温峥嵘形象的AI换脸行为在多个直播间发生。她的团队平均每天举报50个虚假账户并出具法律文件，但虚假账户仍然被禁止，这让她陷入困境：“很难证明我是谁。”
这种现象并不是孤立的。 《法治日报》记者近日调查发现，改造技术、AI面部、语音克隆技术已形成完整的灰色产业链，覆盖家教泛滥。个性化服务，对个人权利和平台监管构成严重威胁。
11月5日，文正英在自己的短视频账号上举办了三场以“我是真正的文正英”为主题的直播，讲述了她最近在直播中伪装成AI、换脸送产品的经历。
许多名人都因人工智能而发生了面部变化。直播间出现了人工智能伪造的主持人李子萌的形象，谎称深海鱼油“可以治病”。奥运冠军全红婵的声音被人工智能克隆，用于销售当地鸡蛋。张文宏医生换了脸，用形象在直播间推销某些蛋白棒产品，销量超过1000支。张文宏说：“这种虚假的合成信息就像蝗虫爆发一样，一次又一次地重演……”
11月14日，公众号国家网信办发布声明称，一些网络账号利用人工智能技术模仿名人形象，以直播、短视频等方式发布营销信息，误导网民，涉嫌虚假宣传和网络侵权，对网络生态造成严重破坏和负面影响。网信部严厉打击一大批违法违规网络账号。同时，各网站平台发布治理公告，要求单点发布信息并进行集中清理整治。截至目前，已删除相关违法信息8700余条，解决假冒名人账号11000余个。
人工智能面部修改技术的滥用也已触及犯罪领域。 2024年10月，该案在宣武区人民法院开庭审理。在江苏省南京市法院，付某非法获取195万公民个人数据，利用AI人脸修改软件生成动态人脸视频，成功渗透金融支付平台人脸识别认证系统，登录受害人支付账户，盗取其消费银行卡。法院以侵犯他人个人信息罪、信用卡诈骗罪判处胡先生有期徒刑四年零六个月。
2024年，内蒙古自治区鄂尔多斯市的一位消费户遭遇人工智能换脸骗局，差点损失40万多元。视频通话过程中，犯罪分子利用换脸人工智能技术冒充消费者朋友，骗取其转账金额超过40万元进行资金交易。所幸警方及时介入，未造成实质损失。
教程和相关服务可在网上获取。记者调查发现，网络平台上流传着人工智能面部修改和语音克隆教程和服务。记者在各社交平台搜索“人工智能换脸”、“声音克隆”等关键词时，平台纷纷跳出，但尽管官方已发布提醒，敦促用户“合法合规，谨慎核实身份”、“谨防轻信诈骗”，但网络空间中仍存在大量相关内容。
例如，有不少名为“AI科普外展”的账号在各个平台上发布换脸教程。这些视频通常会详细列出可访问的网站地址，展示分步操作流程，并包含技术细节。例如，它建议用户“尽量确保替换素材的字体大小与原始素材匹配，并且图像干净无遮挡”，以保证效果。
根据教程根据指引，记者登录相关网站核实，部分平台免费提供AI面部修改和语音生成服务。通过支付数十元购买会员，还可以解锁高级功能，以及水印去除和高分辨率放大。
除了公开教程之外，还有很多隐藏交易是通过网盘通道进行的。
记者发现，一些“完整教程”被打包出售，售价低至8元，卖家声称“没有市场上常规软件那么多的限制”。这些教程通常包括有关云工作流程方向的信息和详细的操作说明，以及诸如人工智能从图像中删除、模仿舞蹈动作、面部细化和教授相关快速单词等增强功能。
语音克隆教程价格低至9.9元，促销强调“支持所有图像记者联系卖家后得知，购买该安装包后，无需注册会员，即可免费解密并使用口型同步、声音克隆等功能。卖家表示，只需提供音频文件，系统即可复制，无需身份验证。一次支持30秒音频，无限制。
为了验证这些教程的实际效果，记者花8元购买了一份面部修饰教程。该教程包括一个5分钟的视频教程和两个文档，提供了清晰的平台访问链接、新用户的福利信息和操作说明，特别强调了“敏感术语限制较少”和“生成的内容无水印”。
记者指出，该平台提供了多种功能模板，让用户可以轻松放置自己的视频角色。我们发现它涵盖了多种功能例如更换衣服、更换角色特定部位的服装、放大或动态处理照片中角色的身体部位。每个模板都配有相应的快速单词教学和详细的操作说明。用户只需上传要处理的照片、视频或参考资料，然后等待一定时间即可生成内容。
当记者用5秒的视频测试绷带操作时，大约3分钟后视频成功生成。画面中，人物的动作和表情高度还原，遮挡区域的服装调节效果也更加自然准确。
记者注意到，该平台的内容生成功能采用运行时收费模式，每秒收取0.2个虚拟币。本教程附带一个特殊的邀请码，允许用户免费接收 1000 个 v-Bucksirtuals。平台还设有虚拟货币奖励机制，其中每天登录可获得100虚拟币奖励，邀请新用户可获得500虚拟币奖励。
改变表达方式可以绕过审核机制。
在电商平台上，一些卖家以虚假名义兜售AI换脸服务。
记者直接在某购物平台搜索“AI换脸”。没有结果。但记者观察到，一些卖家在商品详情页上使用表情符号来象征性地提供换脸“服务”。有些卖家使用“我们可以做任何事情”或“我们了解一切，视频内容没有限制”等口号来暗示您可以亲自与客服聊天以获取有关产品的更多信息。
记者了解到，10秒的换脸视频价格在15元至300元不等。例如，有的卖家对20秒及以下的视频（包括只制作音频的视频）统一收费80元。一些卖家出售包裹，例如制作时间200分钟298元，年卡490元，“个别培训”300元左右。其中存在不少“朋友、顾客会很难辨别真假”等误导性说法。大多数卖家仅验证材料的内容，但不审查其用途或来源。
为了深入了解AI工具本身的内容审核机制，记者对用户常用的10款文森图和文森视频AI工具进行了实际测试，并用明星“一键换脸”等指令测试了其技术极限和审核能力。
结果，只有一个人工智能工具明确拒绝生成真实名人的虚拟图像。有些应用程序可以让您轻松生成有关名人的非常真实的虚假内容。
例如，“吉×”最初以“涉及肖像权”为由拒绝了明星的变身或反装指示，但记者选择其他选项后仍可呈现。 “窦×”和“文×”直接执行命令，没有任何明显的风险提示。 “童×”和“田×”只是在生成内容的一角标注了“AI生成”这个晦涩的字样。
值得注意的是，一些人工智能工具在第一次收到涉及真人的指令时会拒绝它们，但通过选择替代选项或更改平台上的表示形式，userrios 可以绕过初始限制并生成图像和视频。
一些平台利益相关者公开回应称，识别AI内容侵权是全行业的技术问题，恶意和虚假账户与平台持续存在技术冲突。我们将持续加大技术投入，积极应对挑战，保护创作者、销售者和消费者的合法权益。
记者 赵莉
报业从业者王一飞
来源：《法律日报》ei【编辑：李岩】
通勤或在家工作时哪些类型的情况被视为工作场所事故？
“学生课外不准入住宿舍”一事引发热议。大学管理的局限性是什么？
一键“变脸”，潜藏诸多风险。 AI换脸技术滥用调查
这么多地方都有卧室吗？或者？只需稍睡一会即可到达这些城市。
跨越时间的旅程，年轻人喜爱的复古单品
卖家在衣服上放置密码锁或巨大的吊牌以防止衣服被磨损是否合法？
“瓷千年城”将诞生百亿新产业，从“瓷生产”到“打捞”
“撒钱”刺激难以稳定信心，日本金融市场承压
“增益奶粉”市场风波调查：多家品牌悬而未决打击虚假宣传
马龙，我无法说再见
「住手吧，高一！」日本1700多人抗议高市早苗虚假言论
这次全国大赛将会取得怎样的第一或“最好”？
第十五届全国板盘锦标赛难忘的“告别”
许多大学的秘书和主任担任新职务。
退休五年后，这位前公安局长被调查。
趁着你还活着，一定要在秋收的时候去北大荒！
一群中国体育老兵度过了最后的时刻
政客们却反其道而行之，导致日本经济提前进入寒冬。