跳到正文
arXiv AI· Lipeng He, Yihan Wang, Jiawen Zhang, N. Asokan·· 1 天前评分60

PIPETTE: Prompt Injection Purple-Teaming for Robust LLM Agents

摘要

为填补这一空白,我们引入PIPETTE,一种统一的提示注入紫团队框架,有效将红安全发现转化为防御者的稳健性提升。PIPETTE采用字典学习基础的奖励机制,鼓励在红安全过程中更广泛地覆盖攻击策略。它还整合了一套基于在线策略的对抗训练管道,专为IPI防御设计,使代理在完成合法用户任务时能够抵御攻击。

推荐理由

请对照arXiv AI原文,核对完整说明及适用条件。

本站只提供摘要与原文入口。完整内容请阅读原文。

来源:arXiv AI · arxiv.org