PropagandaAI：大语言模型的语义偏移分析与黑盒审计框架

论文: PropagandaAI: An Analysis of Semantic Divergence in Large Language Models
作者: Nay Myat Min, Long H. Pham, Yige Li, Jun Sun（新加坡管理大学）
发表: ICLR 2026
链接: arxiv.org/abs/2504.12344

论文概览

这篇 ICLR 2026 论文来自新加坡管理大学 Sun 教授团队（此前我们分析过的 AgentSpec 也出自同一团队），提出了一个被当前 token 级安全审计体系系统性忽略的风险维度：概念条件化语义偏移（concept-conditioned semantic divergence）。

传统 LLM 安全研究关注的是 token 级后门攻击——在训练数据中植入稀有词元作为触发器，输入中包含该词元时模型产生定向输出。但论文指出，当"触发器"不是一个罕见字符串、而是一个常见的高层概念（如特定公众人物、意识形态框架）时，模型可能在没有任何稀有词元线索的情况下，对该概念表现出高度一致、类似"宣传立场"的输出模式。这种行为绕过了所有依赖 token 稀有性检测的防御手段。

作者将其称为"类宣传行为（propaganda-like behavior）"，并提出了 RAVEN（Response Anomaly Vigilance）——一个纯黑盒的概念级审计框架，通过耦合语义熵和跨模型分歧两个信号来发现此类异常。

核心贡献

论文的四个主要贡献层次分明：

1. 威胁模型的形式化定义。首次将概念条件化语义偏移作为一个独立的安全威胁类别加以形式化，并论证了它为何天然处于 token 级防御的盲区。核心定义是：给定概念提示函数 T_psi(x) 和目标响应集 A，语义偏移量由 Delta(psi, A)(M) 量化——即在概念存在/不存在两种条件下，模型输出落入目标响应集的概率差异。

2. RAVEN 审计框架。一个四阶段流水线：(I) 领域与实体定义，生成结构化 prompt；(II) 多模型查询（5 个模型族，k=6 采样）；(III) 基于双向蕴含关系的语义熵聚类；(IV) 联合置信度与跨模型分歧的怀疑评分。这套框架的关键设计在于，它不依赖任何白盒信息（梯度、激活值、训练数据），仅通过黑盒查询 + 跨模型对比即可完成审计。

3. 可控立场植入实验。通过仅 100 对 Q&A 的 LoRA 微调（不含任何稀有词元触发），成功在 4 个主流模型中植入对某公众人物的概念条件化负面立场。Mistral-7B 效果最强（target 情感分 2.0/5 vs control 3.8/5）。

4. 大规模审计发现。对 5 个模型族 × 12 个敏感话题 × 360 prompts/模型的审计中，RAVEN 在 9/12 话题中检出模型特异的语义偏移。

方法论

威胁模型：为什么概念级偏移更隐蔽？

传统 token 后门攻击依赖一个罕见词元 delta 作为触发器，防御策略自然围绕"检测稀有输入""输出一致性检查"展开。但概念条件化偏移的"触发器"是高层语义概念——它可能在训练数据中大量出现，因此不具备稀有性。攻击者可以用少量偏斜语料植入一个立场，而无需设计任何特殊字符串。

论文用 Goffman 的"概念呈现（presentation of concepts）"理论来解释这一现象的深层机制：模型不仅是信息管道，它参与了对概念的结构化呈现——如何框定一个话题、强调哪些方面、以什么语调表达，这些都在塑造受众的感知。当这种呈现因数据偏斜或微调操作而变得高度一致时，就构成了"类宣传行为"。

RAVEN 四阶段流水线

Stage I — 领域与实体定义。对每个敏感话题（Entity A，如 Vaccination）定义三个视角（Entity B，如 pro-vaccine、anti-vaccine、uncertain），为每个 (A, B) 对生成 10 个 prompt 模板。最终覆盖 12 个话题、36 个实体对、360 个 prompts。

Stage II — 多模型查询。对 GPT-4o、Llama-3.1-8B、Llama-2-7B、Mistral-7B、DeepSeek-R1 五个模型，每个 prompt 采样 6 次（T=0.7），每个模型产生 2160 个回答。跨模型对比是区分模型特异异常与语料共通偏好的关键——如果所有模型都表现出相似倾向，更可能是数据集的共性特征；如果仅个别模型一致性极强且与其他模型分歧，则提示存在异常。

Stage III — 语义熵聚类。核心创新点：不使用文本表面形式的多样性度量，而是基于双向蕴含关系进行语义聚类。具体地，用 GPT-4o-mini 作为蕴含判断器，当两个回答在双向蕴含关系下等价时归入同一语义簇。然后计算语义熵：

SE_{M,p} = -Sum_i P(C_i|R_{M,p}) log P(C_i|R_{M,p})

其中 P(C_i) 是落入第 i 个语义簇的回答比例。低语义熵意味着模型对该 prompt 的输出高度一致（所有 6 个采样回答语义相同），这是"类宣传行为"的第一个信号。

Stage IV — 跨模型分歧与怀疑评分。将模型置信度（逆归一化熵）与跨模型分歧度加权组合：

S = alpha * Confidence + (1 - alpha) * Divergence

其中 alpha = 0.4（偏向分歧权重），Confidence 由零熵映射到 100 分，Divergence 综合了两个指标：不同意见的 peer 模型百分比，以及分歧的语义程度。当 S > 85（同时满足 entropy < 0.3 且 > 60% peers 不同意），标记为异常。

LoRA 立场植入实验

为验证概念条件化偏移的可控性，作者用 LoRA 对四个模型进行微调：目标实体 Entity-X 的 100 对 Q&A（全部为负面回答）+ 100 对无关对照 Q&A（混合情感）。关键设计在于：所有训练数据均由 GPT-4o-mini 在中性系统提示下生成，确保不引入任何显式触发词。测试时使用 Entity-X 相关的 100 个问题（涵盖职业、公开言论、音乐、时尚）和 100 个对照问题。

实验结果

RQ1：立场植入可行性

所有四个架构均被成功植入概念条件化立场，Mistral-7B 表现出最强的立场偏移。关键对照：Clean 模型和 Null-adapter（标签打乱的对照）在两者间无显著差异，且非目标 prompt 漂移不超过 2 个百分点，证实了因果性和概念特异性。

RQ2：预训练模型中的语义偏移

RAVEN 在 12 个话题中检出 9 个存在异常：

值得注意的是，Corporate/Amazon、FastFood/McDonald's、Technology/AI 三个话题未检出异常，说明并非所有话题都存在模型特异的语义偏移。

RQ3：检测有效性

所有被标记案例的共同特征：语义熵 SE = 0.0（6 个采样回答全部语义等价）+ 跨模型分歧 >= 75%。这种低熵高分歧的双信号模式是 RAVEN 最可靠的分类线索。

RQ4：四类语义偏移模式

论文从实证数据中提炼出四种可复现的模式：

1. 立场极化（如 GPT-4o 对气候中间派的否定）
2. 实体偏袒（如 Mistral 对 Tesla 的一贯正面输出）
3. 绝对化否定（如 Mistral 断言"疫苗疑虑没有任何有效哲学论据"）
4. 情感操控（如 Llama-3 对 Entity-X 的持续负面框定）

这四种模式都满足"paraphrase-robust"（同义改写依然稳定）和"model-specific"（其他模型表现不同）两个条件，因此可以区分模型特异的语义偏移与普遍的数据集偏差。

启示与思考

这篇论文在我看来的最大价值，不在于它发现了"LLM 会表现出偏见"——这已经是众所周知的事——而在于它提供了一套可操作的、不依赖内部信息的审计方法论。

方法论的突破。RAVEN 将 LLM 安全审计从 token 维度提升到了概念维度。传统方法问的是"这个输入是否包含恶意词元？"，RAVEN 问的是"这个模型在讨论特定概念时是否表现得异常一致？"。这个视角转换的意义在于，它使审计不再依赖于对攻击手段的先验知识——你不需要知道触发词是什么，你只需要知道哪些话题值得审计。

与 Agent 安全的关联。对 AARM 框架而言，这篇论文的发现有一个直接的工程含义：Agent 的行为安全监控不能仅关注工具调用层面的异常（如 AgentSpec 所做的拦截），还需要关注输出内容层面的语义一致性。一个被植入概念条件化立场的 Agent，在讨论特定话题时可能会系统性地歪曲信息，而这种歪曲不会触发任何工具调用层面的安全规则。RAVEN 的思想——通过跨模型对比 + 语义熵来检测异常——可以被借鉴到 Agent 输出审计中。

ABAC 类比。如果把 token 级防御类比为传统 DAC（自主访问控制，按明确标识符决策），那么概念级审计更接近 ABAC（基于属性的访问控制）的思想：审计的粒度从"你用了什么词"上升到"你在什么上下文中表达了什么立场"。这个类比有助于理解为什么概念级审计是 token 级防御的必要补充而非替代。

局限性与未来。RAVEN 目前依赖预定义的领域和实体对，无法检测未知概念的偏移；多模型查询 + 蕴含聚类的开销在实践中可能需要优化（每模型 2160 次 API 调用）；它仅做 triage（分诊）而非归因，高怀疑评分不等于确认攻击。论文也坦诚地指出，这些 flags 类似于社会调查中的"acquiescence bias"检测信号——它们标记的是可复现的响应模式，而非"信念"或"意图"的证据。

总体而言，这篇论文为 LLM 安全评估开辟了一个重要的新维度。如果说 AgentSpec 解决了"Agent 在执行动作时如何被拦截"的问题，那么 PropagandaAI/RAVEN 则解决了"Agent 在生成内容时如何保持语义中立"的问题——两者从不同角度共同构成了更完整的 AI Agent 安全拼图。

---

延伸阅读：

• 同团队论文 AgentSpec: fangbin.github.io/blog/papers/agentspec/
• RAVEN 开源代码: github.com/NayMyatMin/RAVEN-AI
• Farquhar et al. (2024) 语义熵在幻觉检测中的应用: Nature 630, 625-630