智慧星光携手国家广告研究院等机构发布《AI 大模型生成内容风险监测与可信治理白皮书》

近日，国家广告研究院联合UCL人工智能研究中心、四川省人工智能研究院、弗若斯特沙利文、智慧星光等机构，共同发布《AI大模型生成内容风险监测与可信治理白皮书》（以下简称《白皮书》）。

这是国内首部系统回答AI生成内容风险"从哪里来、如何识别、怎样治理"的总纲型研究文献。生成式AI已不再是实验室里的技术工具，它正在变成像水和电一样的基础设施。人们用AI查攻略、问病情、比理财、寻保险、找品牌——AI给出的答案，正在进入公共治理、企业经营和普通人的决策链条。

"过去我们的管理视野主要聚焦于'人发布的内容'，而现在必须同等重视'机器生成的答案'。"——国家广告研究院副院长王昕

白皮书试图回答的，正是这一结构性转变带来的新命题。

三次升级，一场管理逻辑的跃迁

《白皮书》将AI内容管理的演进梳理为三次升级：

第一次，从"人工内容管理"升级为"AI生成内容管理"——管理对象从人发布的内容扩展到机器动态生成的答案、推荐和行动；第二次，从"内容安全审核"升级为"事实核查与来源管理"——管理重点从敏感词和违规内容扩展到真实性、权威性、时效性、完整性和可验证性；第三次，从"风险处置"升级为"可信认知基础设施建设"——管理目标从删除错误内容扩展到让权威信息可被机器准确读取、可靠引用、持续更新并可追溯。

这三次升级勾勒出一条清晰的逻辑脉络：AI时代的内容管理，不是给传统审核打个补丁，而是重构一套新的方法体系。

风险"五层结构"：问题到底出在哪一层？

白皮书首次提出"五层风险结构"，试图回答一个基础问题：AI出错，错在哪个环节？

基础模型层看训练数据和模型结构本身是否有缺陷；应用系统层关注提示词怎么写、知识库用什么来源、工具调用有没有越权；内容输出层是用户直接看到的那段文字——编造的事实、错误的引用、夸大的承诺都在这里暴露；传播生态层追问的是，错误答案被转载、被引用、被模型再次学习之后，如何形成"错误生成—批量传播—再次引用—认知固化"的恶性循环；组织治理层则审视一个机构有没有能力把零散的问题转化为可管理、可问责的治理对象。

这五层结构的意义在于：它告诉治理者，问题可能出在模型本身，也可能出在知识库、出在审核流程、出在传播链条，甚至出在组织管理的缺失。找不准病灶，就无法对症下药。

八维评价：不只打分，更要分级

有了风险定位，还需要一把尺子来衡量。白皮书构建了"八维评价模型"——其中七个维度用于评价内容质量：准确性、合规性、权威性、时效性、完整性、可解释性、可追溯性；第八个维度则独立评定影响风险等级，从Ⅰ级到Ⅳ级逐级升高。

这套评价体系有一个关键设计：任何明确违法红线、重大事实错误或严重权益风险，都触发升级，不受综合分数影响。换句话说，一条AI回答可能在多数维度上表现不错，但只要在关键事实上出错，就必须按高等级风险处置。

研究进一步将八个维度归纳为"内容可信、来源可信、过程可信、组织可信"四个系统治理目标。这个归纳的好处是让不同部门各司其职——内容运营团队抓准确性和合规性，信源管理团队抓权威性和时效性，产品与算法团队抓可解释性和可追溯性，管理层和合规部门抓风险等级判定与处置。

七步闭环：把监测变成行动

白皮书提出的"七步治理闭环"——场景定义、问题库设计、多模型监测、风险识别、事实核查、证据留痕、治理复测——试图解决一个实际问题：发现风险之后怎么办。

治理应该从场景开始，而不是从模型名单开始。同一个模型，用来写文案和用来给医疗建议，风险等级完全不同。场景定义清楚了，才能确定用什么问题去测试、用什么标准去评价、用什么流程去处置。

事实核查环节要求把AI答案拆解为最小可验证的断言，逐一核对；证据留痕要求保存提示词、模型版本、回答全文、引用快照和核查记录——没有这些，风险就无法复现、无法问责、无法改进。

认知污染与企业AI声誉：两个值得警惕的新风险

《白皮书》特别关注了两个新兴风险。

一个是"AI认知污染"——低质站群、批量AI软文、伪权威内容和自媒体误读，正在悄悄改变模型可检索的信息环境。治理对象需要从单条内容扩展到来源结构：哪些域名被频繁引用、同类错误是否跨模型出现、官方信源是否缺位。

另一个是"企业AI声誉"——企业需要持续观察大模型如何描述自己的品牌、产品、资质和行业地位。监测标准不是"是否正面"，而是事实是否准确、来源是否可靠、时间是否有效、表达是否完整。

从"堵"到"疏"：建设可信知识底座

白皮书传递的一个重要理念是：AI内容治理不能只靠"堵"，更要靠"疏"。与其等错误出现后再删除，不如让权威信息"可被找到、可被引用、可被验证"。

为此，《白皮书》提出建设"企业可信知识底座"——包括企业事实清单、权威来源目录、标准答案库、结构化FAQ、证据链和版本时效管理。这是一套前置治理思路：在AI生成答案之前，先把高质量的信息供给做好。

三重价值：学术、产业与国际接轨

在学术层面，白皮书填补了AI生成内容风险治理领域系统性研究的空白，建立了从风险识别到可信评估的完整方法框架；在产业层面，它为政府、平台、企业与研究机构提供了可复用的问题库、监测流程、评分规则与证据包；在国际接轨层面，它对标欧盟《人工智能法案》、NIST AI风险管理框架和ISO/IEC 42001等国际治理框架，推动形成可审计、可验证的AI内容治理能力。

《白皮书》全文已在国家广告研究院官方渠道发布。

关于智慧星光

北京智慧星光信息技术股份有限公司成立于2012年，致力于成为全球领先的AI驱动数据治理与决策全栈智能服务商。总部位于北京中关村核心区，设有安徽子公司、福建后方子公司、石家庄分部及全国 29 个省级办事处，拥有员工近1,400人。我们专注于用 AI 技术提供非结构化大数据的信息画像、知识构建与价值挖掘服务。累计积累 1.5 万亿+高质量数据集、50万+大模型行业知识库和3000+AI智能体矩阵，服务政务治理、品牌声誉、企业数智化等145个行业应用场景。依托自研星光决策智能大模型（已通过政府备案）与非结构化数据推荐引擎，我们构建了"数据感知 → 智能治理 → 智慧决策"的完整服务闭环，累计为 100,000+ 政企客户提供 AI 驱动的决策智能服务。