OpenAI 的新 Scaling Law，含金量又提高了。

像 o1 这样的推理模型，随着思考时间的延长，面对对抗性攻击会变得更加稳健。

随着大语言模型被越来越多地赋予 Agent 能力，执行现实世界的任务，模型被对抗攻击的风险也与日俱增。

，现在放出这样一个研究，是否是想让外界更放心一些呢？

而目前主流的"对抗性训练"防御方法，有几个缺点：

依赖先验知识，需要了解对手的攻击方式。

要交"安全税"，在稳健性和模型能力之间取舍。

现在 OpenAI 实验证明，在不做对抗性训练的情况下，只要增加推理时计算，模型的对抗稳健性就能显著提升，在多个任务上都得到了验证。

这项新研究，共同一作中包括仅剩的联创之一Wojciech Zaremba。

另一位共同一作Boaz Barak表示" 我们没有‘解决’对抗稳健性问题……但我对未来方向感到兴奋"。

针对推理模型的新攻防战

针对推理模型特性，团队在实验中考察了几种的"攻击面"（attack surfaces）：

Many-shot 攻击：攻击者在提示中提供大量上下文示例，攻击资源量由提供的 tokens 数量衡量。

Soft token 攻击：攻击者可以直接操纵 embedding 向量，通过梯度下降优化 token 来达到对抗目的。这是个强有力但不太现实的白盒攻击。

Think less 攻击（想太少）：这种新型攻击旨在降低模型的推理时计算量，从而增加其犯错概率。

Nerd-sniping（狙击书呆子）：当模型陷入不必要的"深思熟虑"，在无谓的地方耗费算力时，反而更容易受到攻击。

人类 /AI 红队攻击：请专家或 AI 组成红队通过人机交互，针对性探索潜在的 prompt 注入漏洞。

多模态输入对抗攻击：针对图像分类任务，使用特定的对抗图像数据集进行攻击。

在大多数实验里，随着推理时计算的增加，模型抵御攻击的成功率都在提高。

举几个例子：

下面几张图中，Y 轴是攻击者的资源量，X 轴是推理时间计算量。随着攻击者资源的增加，其成功概率也会增加。

但对于每固定数量的攻击者资源，成功的概率会随着模型在推理时花费更多的计算而下降。

在数学问题的 many-shot 攻击下，攻击方目标包括要求模型无论如何输出 42，输出正确答案 +1、或正确答案 x7。

但随着推理算力增加，攻击成功率最终趋于 0。

在智能体网页浏览任务中，通过在网站注入恶意指令来攻击，增加推理时计算后，攻击成功率也降为 0。

即使更强大的攻击下，增加更多的推理时间还是能显著提升防御力。

论文对几种新颖的攻击方式做了额外分析。

Think less 攻击，主要是 o1-mini 比较容易中招，o1-preview 防御能力还可以。

Nerd-sniping 攻击，模型在某些实例上花费异常大的推理时间计算时，攻击成功率可能更高，表明模型可能会陷入无效率的思考循环。

尽管如此，研究者也指出，目前的方法在以下几个方面有局限：

研究仅涉及有限的任务和计算缩放范围，在面对利用策略模糊性或漏洞的攻击时，增加计算量可能无效

" think less "和" nerd sniping "攻击也揭示了推理时计算的两面性，攻击者可以诱导模型想太多或想太少。

One More Thing

对于这项针对推理大模型特性的研究，有创业者从不一样的角度思考：

那么 DeepSeek-R1 系列也可以从中受益呗？

论文地址：

https://cdn.openai.com/papers/trading-inference-time-compute-for-adversarial-robustness-20250121_1.pdf

参考链接：

[ 1 ] https://openai.com/index/trading-inference-time-compute-for-adversarial-robustness/

[ 2 ] https://x.com/boazbaraktcs/status/1882164218004451334