人工智能（AI）大模型开年以来在中国出圈后持续渗透社会各方各面，带来机遇的同时也引发舆论日益担忧新科技被误用滥用，导致社会失序风险加剧。在本周召开的“两会”（全国人大、政协年会）上，不少全国人大代表和政协委员针对“AI换脸拟声”问题频频开炮，呼吁监管要系紧缰绳，一夕成为舆论热点。
去年曾陷虚假“语音包”风波的全国人大代表、小米集团首席执行官雷军就在会上指出，“AI换脸拟声”不当滥用造成了违法侵权行为的重灾区，带来社会治理等风险，呼吁加强监管。
全国政协委员、中国著名男星靳东则表示，有影迷遭“AI靳东”骗得很惨，认为相关行为性质非常恶劣，希望有更好规则管理。
另一方面，AI“胡说八道”“幻觉度高”的问题本周也受到更多中国舆论关注。
“国庆七天，雷总骂了六天”
据中国媒体本周报道，有网民去年4月就开始利用AI捏造雷军配音，吐槽各种不文明行为或表达对他人的不满，各种内容应有尽有，不仅超出一般开玩笑玩梗的程度，除骂人、吐槽外，还涉嫌造谣恐吓，例如要用小米SU7撞死某某，要用小米手机炸死某某等。
去年中国国庆假期期间，层出不穷的“雷军语音包”爆发式增长，引发网民调侃：“国庆七天，雷总骂了六天。”
有人10月7日还在雷军的微博评论区留言提问：“雷总，最近你怎么在骂人？”引来雷军以三个“怒”的表情包回复。
另有不少网民表示担忧和不满，认为大量雷军AI语音视频的文案粗俗，言辞尖锐，甚至包含粗话脏话，与雷军本人形象不符。有网民还指出，不少AI配音并已达到以假乱真地步，呼吁该管制AI。
之后，雷军10月29日在抖音平台发布视频，表示AI是非常好的技术，也非常实用，但坦言雷军AI语音包的确让他深受困扰，呼吁网民不要再恶搞，“挺不舒服的，希望大家都不要玩了，这个事情不太好”。
在本月全国人大会议开幕前，雷军提交了五份建议，其中一份呼吁针对AI换脸拟声加快相关法律建立，强化行业自律共治，加大普法宣传。
雷军在建议中指出，AI深度合成技术的快速发展，推动了AI换脸拟声在影视、广告、社交等领域广泛兴起，成为社会喜闻乐见、传播力强、易成热点的技术应用。
但与此同时，AI换脸拟声不当滥用造成了违法侵权行为的重灾区，容易引发侵犯肖像权、侵犯公民个人信息及诈骗等犯罪行为，甚至造成难以挽回的大规模形象和声誉损害，带来社会治理等风险。
雷军指出，AI深度合成技术所需素材获取便利、技术使用门槛低、侵权主体及其手段隐蔽性强等特点，也给治理带来较大挑战。
事实上，AI换脸拟声问题过去两年持续对公众人物造成严重困扰。
《中国青年报》《北京青年报》等中国媒体去年12月纷纷报道，有中国商家通过AI换脸、合成人声等手段，将中国抗疫专家张文宏的面容与声音移花接木用于直播带货，误导不少消费者。
名为“般画234”账号上传视频，当中显示AI合成的“张文宏”售卖一种蛋白棒，不少老人信以为真，下单购买该产品。截至12月12日晚，该账号已不见这段销售视频，但商品橱窗保留着蛋白棒售卖页面，显示已出售1266件。
张文宏受询时说，这样的卖货账号不止一个，而且一直在变，“我多次向平台投诉但屡禁不绝”。他形容这些假的AI合成信息就像蝗灾一样，一再发生，像漫天飞过来的蝗虫一样害人。
张文宏称也曾考虑报警，但造假者看不见摸不到，就像幽灵一般难以描述，只能寄希望于相关部门加强监管。
上海市消保委星期四（3月6日）说，未经当事人授权的AI合成带货行为已构成了对消费者的欺诈，呼吁监管部门严厉处罚。
中国青年网发表评论指出，假托名人形象带货的做法一直存在，根本原因在于通过造假获取的收益，大于受到惩处的风险与成本，呼吁官方加大打击力度，让违法分子付出更沉重代价，才是最核心的治理对策。
更早之前，沉潜了一段日子的华语流行乐坛天后孙燕姿，2023年4月在AI加持下“复出”，频频在中国视频网站亮相。AI合成的“孙燕姿”在这些视频中翻唱各类歌曲，当中不少都获得百万点击率，比如周杰伦《发如雪》、南拳妈妈《下雨天》，以及王菲《红豆》等。
有媒体不完全统计，这类翻唱作品超过1000首，数量远远超出孙燕姿出道20多年的作品总和。
简言之，AI孙燕姿就是通过模型训练和后期处理，让AI用孙燕姿的声音翻唱其他歌手的歌曲，音色足以以假乱真。
靳东中老年女粉被诈骗
AI生成技术越见成熟，不少明星被换脸冒声，成为不法分子招谣撞骗、向明星粉丝讹诈钱财的工具。中国男明星靳东的中老年女粉丝就深受其害。
据光明网报道，江西一名老人去年11月到银行办理银行卡，但手续不全又不肯离开。警方到现场后，老人表示要到银行贷款200万元（人民币，下同，36万7000新元）给自己的男友“靳东”拍戏。
民警查看老人的手机发现，她口中所称的男友大明星“靳东”是由骗子冒充，发布的视频也是由AI合成，但老人对网络知之甚少，对骗子所言所为深信不疑。
上海市静安区法院今年2月3日则发布消息，指该院近日开庭审理一起假冒中国知名演员“靳东”诈骗案，对八名被告人作出一审判决，其中主犯被判有期徒刑三年。
澎湃新闻引述法院介绍，演员靳东忠实粉丝张姓女士2021年10月被拉入名为“靳东明星”的粉丝群。从2022年2月开始，她就在群里不断给一个叫“靳东”的用户充值打赏。
不久后，“靳东”就以恋爱的名义加上张女士微信，从每天三顿饭的问候，到深夜跟其聊家常。张女士逐渐在“靳东”的嘘寒问暖中沦陷，先后转账近20万元；直至儿子发现后报警，张女士仍不愿相信自己的“偶像”就是“诈骗犯”。
报道指出，上述案件并非个例，背后是一个有组织有预谋的犯罪团伙，首脑是王姓嫌犯，2022年5月至2023年6月期间，陆续招募七人担任业务员，实施诈骗活动。
这些业务员受王姓主谋指使，在抖音以及快手短视频平台上发布假冒“靳东”等明星或名人的视频或音频，吸引中老年妇女，骗取对方信任，随后以上述假冒的明星或名人身份与受害者在微信平台上开展网聊、网恋。
犯罪分子并诱导受害者与“明星”建立情感联系，最后以投资、公益、应援、网购、恋爱等各种理由索要钱款，通过微信转账等方式，骗取多名被害人的钱财，共计31万余元。
上海静安法院审理后以诈骗罪对八名被告宣判，王姓主谋被判有期徒刑三年、罚款5万元，其余七人被轻判有期徒刑二年到拘役四个月不等，适用缓刑并处罚金。
据《人民日报》报道，全国政协委员、中国煤矿文工团团长靳东星期三（3月5日）在政协小组讨论中，回应了AI换脸导致的诈骗问题。他说：“一些喜欢我影视剧的观众，被AI换脸视讯骗得很惨，这个性质非常恶劣。希望能建立更好的规则。”这番言论星期四（3月6日）冲上微博热搜第一位。
“人工智能+”今年再度被写入中国政府工作报告之际，不少全国人大代表对作为“双刃剑”的AI发出警示，呼吁完善监管。
其中，东浩兰生集团上海工业商务展览公司高管陈达本周在《新民晚报》采访中表示，尽管中国已经多次组织治理行动取缔滥用AI技术的不法分子，但仍需在立法层面上进一步完善监管措施。
中国电器制造企业TCL创始人、董事长李东生也认为，中国针对AI深度伪造欺诈已出台的规章制度尚不成体系，还不具备可操作的细则和明确的处罚标准。他建议从加快出台管理规章制度、明确惩罚制度、标识技术标准和发布管理、国际合作等方面，加强AI深度伪造欺诈管理。
陈达则呼吁加强对AI技术的立法监管，防止被用于违法犯罪活动，特别是针对老年人和未成年人的网络诈骗。
AI在遇到自己不熟悉、不在知识范围的问题时，发挥想象力编造难以辨明真假的细节，生成与事实相悖的答案，本周也更多引发中国舆论关注，担忧使用者被AI幻觉与假信息误导。
针对大模型生成“幻觉数据”充斥网络带来的危害，全国人大代表、科大讯飞董事长刘庆峰建议官方针对AI生成内容研发幻觉治理技术和平台，定期清理幻觉数据，为公众提供幻觉信息检测工具与服务。
一向维稳至上的中国，目前也非常需要乘AI之风，借助创新驱动新一波经济复苏增长。官方能否在确保社会秩序免受新科技严重负面影响的同时，也兼顾保障创新持续不受钳制，活力继续得到释放，由此达到发展和管制之间的良好平衡，相信将会是外界对中国这股AI旋风的下一个观察点。
