照片“活化”成视频 AI深度合成技术怎防被滥用?

本文转自:看看新闻
照片“活化”成视频 AI深度合成技术怎防被滥用?
文章图片

文章图片

视频换脸、语音变声……随着人工智能(AI)深度合成技术的日益精湛 , 越来越多的人遇到过这样的情况:我们明明身处某地 , 但就在同一时刻 , 我们的脸、表情和姿态却出现在一些手机App后台、支付界面、门禁闸机 , 被人盗刷并被用来牟利 。
公安部门近年来在上海、浙江、安徽、江苏等地办案发现 , 多名犯罪嫌疑人使用深度合成技术 , 将非法盗取或有偿求购的照片和音频进行“活化”、合成为动态视频后进行非法牟利:或是骗过平台的人脸识别机制直接盗取他人账户钱款 , 或是骗过手机卡注册的人工审核环节 , 盗用他人手机号进行电信网络诈骗、网络赌博 。
深度合成技术 , 是人工智能领域前沿的一项新技术 , 从图像合成技术发展而来 , 是指利用以深度学习、虚拟现实为代表的生成合成类算法制作文本、图像、音频、视频、虚拟场景等信息的技术 , 包括但不限于文本转语音、语音转换、人脸生成、人脸替换、姿态操控等技术 。听起来似乎很玄妙 , 但是一段网传视频显示 , 经过某深度合成技术软件的“妙手” , 一个人的照片被“活化”成了另一个人的一段视频 , 以假乱真程度之高 , 竟然成功地骗过了人脸识别核验系统 。
照片“活化”成视频 AI深度合成技术怎防被滥用?
文章图片

文章图片

据业内人士介绍 , 深度合作技术近年来实现了飞跃式的发展 , 而基于深度合成技术的各类应用 , 也早从2019年开始已经逐渐在影视制作、广告营销、社交娱乐等多个领域落地生根 。清华大学今年3月发布的《深度合成十大趋势报告》显示 , 在国内外主流音视频网站、社交媒体平台上 , 2021年新发布的深度合成视频的数量较2017年已增长10倍以上 。深度合成内容关注度也呈指数级增长 , 通过对互动数据进行统计 , 2021年新发布的深度合成视频的点赞数已超过3亿 。此外 , 越来越多的企业机构开始利用深度合成技术提供面向公众的产品和服务 , 涵盖图像、视频、音频、文本等多个领域 。例如作为人机交互中重要一环的语音合成 , 被广泛应用于智能客服、语音导航、有声读物、语音助手等场景 。
不过 , 正如公安部门在办案中发现的 , 这项新技术的强大功能也给了不法分子可趁之机 , 被用来恶意篡改人脸识别信息、实行诈骗、色情服务、制造谣言等违法行为 。这意味着 , 我们生活的现实世界正在面临着深度合成技术被滥用的风险与挑战 。
照片“活化”成视频 AI深度合成技术怎防被滥用?
文章图片

文章图片

为规避风险 , 我国正积极探寻有效的治理机制 。2019年11月起先后出台的《网络音视频信息服务管理规定》、《网络信息内容生态治理规定》、《中华人民共和国民法典》、《互联网信息服务算法推荐管理规定》 , 均对生成合成类内容等提出了不同程度的监管要求 。今年1月 , 网信办又起草了《互联网信息服务/深度合成管理规定(征求意见稿)》并向社会公开征求意见 。其中明确规定:任何组织和个人不得利用深度合成服务从事危害国家安全、破坏社会稳定、扰乱社会秩序、侵犯他人合法权益等法律法规禁止的活动 , 违者将酌情接受法律法规制裁 。这份文件还要求 , 深度合成服务提供者 应当依法对深度合成服务使用者进行真实身份信息认证 , 其所制作的内容需经过审核并保证可追溯 。