新聞中心

        EEPW首頁 > 智能計算 > 業(yè)界動態(tài) > 攻擊成功率從 3% 到接近 100%,利用空格鍵可繞過 Meta AI 模型安全系統(tǒng)

        攻擊成功率從 3% 到接近 100%,利用空格鍵可繞過 Meta AI 模型安全系統(tǒng)

        作者: 時間:2024-07-31 來源:IT之家 收藏

        IT之家 7 月 31 日消息, 公司上周在發(fā)布 Llama 3.1 模型的同時,還發(fā)布了 Prompt-Guard-86M 模型,主要幫助開發(fā)人員檢測并響應(yīng)提示詞注入和越獄輸入。

        本文引用地址:http://www.104case.com/article/202407/461541.htm

        IT之家在這里簡要補(bǔ)充下背景知識:

        • 提示詞注入(prompt injection):將惡意或非預(yù)期內(nèi)容添加到提示中,以劫持語言模型的輸出。提示泄露和越獄實際上是這種攻擊的子集;

        • 提示詞越獄(prompt jailbreaks):繞過安全和審查功能。

        不過根據(jù)科技媒體 theregister 報道,這個防止 提示詞注入和越獄的模型,本身也存在漏洞,用戶只需要通過空格鍵就能繞過 安全系統(tǒng)。

        企業(yè)人工智能應(yīng)用安全商店 Robust Intelligence 的漏洞獵人阿曼?普里揚(yáng)舒(Aman Priyanshu)分析 的 Prompt-Guard-86M 模型與微軟的基礎(chǔ)模型 microsoft / mdeberta-v3-base 之間的嵌入權(quán)重差異時,發(fā)現(xiàn)了這種安全繞過機(jī)制。

        用戶只需要在字母之間添加空格并省略標(biāo)點(diǎn)符號,就可以要求 Meta 的 Prompt-Guard-86M 分類器模型“忽略之前的指令”。

        Priyanshu 在周四提交給 Prompt-Guard repo 的 GitHub Issues 帖子中解釋說:

        繞過方法是在給定提示符中的所有英文字母字符之間插入按字符順序排列的空格。這種簡單的轉(zhuǎn)換有效地使分類器無法檢測到潛在的有害內(nèi)容。

        Robust Intelligence 首席技術(shù)官海勒姆?安德森(Hyrum Anderson)表示

        無論你想問什么令人討厭的問題,你所要做的就是去掉標(biāo)點(diǎn)符號,在每個字母之間加上空格。

        它的攻擊成功率從不到 3% 到接近 100%。




        關(guān)鍵詞: Meta AI

        評論


        相關(guān)推薦

        技術(shù)專區(qū)

        關(guān)閉
        主站蜘蛛池模板: 金沙县| 申扎县| 河南省| 江孜县| 水城县| 侯马市| 平和县| 西昌市| 南平市| 彭州市| 遂宁市| 广南县| 喀什市| 高陵县| 遵义县| 龙岩市| 宽甸| 武威市| 高要市| 永定县| 通渭县| 胶南市| 兴安盟| 广州市| 绍兴县| 花莲县| 玉环县| 易门县| 通河县| 洛宁县| 佛坪县| 高邑县| 宝清县| 长汀县| 天全县| 玉林市| 赤壁市| 什邡市| 南漳县| 醴陵市| 天长市|