听新闻
放大镜
堵住AI生成中的管控漏洞
2026-01-15 11:16:00  来源:检察日报

  

  

  2025年12月,上海市徐汇区检察院检察官开展案件线上“回头看”。

  

  从事公益诉讼检察工作多年,我始终坚信,捍卫国家利益与社会公共利益,既要直面看得见的损害,更要警惕新技术背后不容易看见的风险。此前办理的一起滥用AI技术丑化军人形象公益诉讼案,就让我深刻体会到,在技术飞速迭代的今天,守护英雄军人的庄严形象、筑牢网络空间公益防线,是新时代检察人必须扛起的责任。

  2025年8月初,我们在履行公益监督职责中发现,某企业研发的AI大模型支持用户生成叼烟、文身、身着暴露服饰的军人形象图片,部分图片场景还包含带有中国军队标识的军事装备,严重亵渎军人尊严、损害军队形象。这条线索,让我们敏锐察觉到AI技术滥用可能引发的公益损害隐患,随即启动公益诉讼监督程序。

  初步调查阶段,我们通过模拟普通用户操作,仅输入“军人、文身、装甲车”等简单提示词,该AI大模型便可快速生成违背军人庄严形象、违反军服穿着规范的图片。进一步测试发现,该模型对相关提示词缺乏有效拦截,甚至能细化指令调整违规元素,生成的内容极具误导性。鉴于AI技术的传播特性,此类违规图片一旦扩散,将严重破坏社会公序良俗、危害国家利益,我们于2025年8月25日依法立案调查。

  立案后,我们第一时间通过可信时间戳固定生成图片的全过程证据,同步委托专业机构对图片违规性及潜在危害进行鉴定,明确了公益损害的事实。但办案很快陷入瓶颈:AI大模型的运行逻辑如同“黑盒”,如何精准界定技术缺陷与损害结果的因果关系?现有法律对AI生成违规内容的责任认定缺乏细化标准,监管边界如何划分?这些技术与法律交织的难题,成为案件推进的拦路虎。

  幸运的是,立案前一个月,我院与徐汇区委网信办、区新型工业化办公室等8家单位会签的《关于加强人工智能协同治理的工作协议》,为破解办案难题提供了制度支撑。我们迅速启动协同机制,联合上海军事检察院开展军地协作,召开专题联席会议梳理办案难点,明确分工推进证据核查与问题溯源。同时,我们先后走访信息安全测评机构、科研机构及相关军事单位,邀请技术专家与军事专业人员共同解码“黑盒”。

  经多轮研判,专家团队最终锁定问题根源:该AI大模型的训练数据缺乏权威内容支撑,对军服规范、军人形象的认知存在偏差;关键词库更新滞后,无法精准识别相关提示词,且语义识别模型存在漏洞,难以拦截隐性违规指令。这一结论,为案件办理指明了方向,也暴露了行业内AI信息内容管控的共性短板。

  厘清成因后,我们聚焦整改路径多方征询意见。相关军事单位建议,补充“央广军事”等官方平台发布的军服配套穿着图例、军人规范形象素材,优化模型训练数据;行业专家提出,需扩充关键词库,升级语义识别算法,通过对抗测试强化拦截能力,在严守安全底线的同时兼顾用户正常使用需求。现役军人及志愿者代表则呼吁,要强化企业主体责任,从源头上杜绝AI生成不良内容。

  基于查明的事实,我们依法向行政监管部门制发检察建议,督促其履行AI新技术信息内容监管职责,督导涉案企业完成全面整改。行政监管部门高度重视,第一时间约谈企业负责人,要求限期落实整改措施。涉案企业迅速行动,对存量违规图片全面进行源头清理,同步上线34条规范示例、28个正向形象提示词,优化关键词库与语义识别模型,构建起“权威数据赋能—语料清洗—内容审核—实时拦截”的全流程管控体系。

  2025年12月12日,军地检察机关联合军队人大代表、人工智能领域专家开展整改“回头看”。现场测试显示,输入相关不良提示词后,系统可立即识别并弹窗提示“请更换提示词后再试”,违规内容生成被有效阻断。为推动个案治理升级为行业规范,行政监管部门还对辖区备案的70余家AI大模型企业开展网络安全专项检查,全面排查同类安全隐患,筑牢行业监管防线。

  从线索受理到案件办结,从源头整治到系统治理,作为公益诉讼检察官,我们深知,技术的进步不应成为突破公序良俗、损害国家利益的借口。我们要做的,就是在技术创新与安全守护之间架起坚实护栏,用精准监督回应群众期待,确保AI在法治轨道上向善而行,为网络强国建设注入检察力量。

  编辑:范昕羽  
[an error occurred while processing the directive]
[an error occurred while processing the directive]