Gartner：企業在部署生成式人工智能時面臨新的安全威脅

在近期舉辦的2024中國科技行業高管交流大會上，Gartner發布了關于生成式人工智能（GenAI）安全的最新研究。隨著GenAI技術的迅速發展和應用，全球超過58%的技術提供商已經在他們的產品中內嵌了GenAI技術。這種技術雖然為企業帶來了創新的機會，但同時也引入了新的安全挑戰。

Gartner高級研究總監曾劭清表示：“GenAI技術在提高業務效率和開拓新服務方面具有巨大潛力，但它也使企業的安全攻擊面擴大，尤其是在提示工程和數據安全方面。GenAI技術為攻擊者提供了新的途徑，例如利用AI生成的內容進行社會工程攻擊或通過污染訓練數據來破壞AI系統的完整性。此外，攻擊者可以利用GenAI提高攻擊工具的自動化和智能化水平，這對傳統的安全防御措施構成了挑戰。同時，GenAI系統的復雜性本身也可能引入新的漏洞和弱點，要求企業采用更先進的技術和策略來確保系統的安全。”

隨著GenAI技術融入日常業務操作，企業面臨的攻擊面顯著擴大。這不僅影響到數據處理，還直接威脅到AI模型的安全性。為了應對這些挑戰，企業必須采取先進的安全措施和技術。這包括但不限于實施綜合的數據監控系統、加強訓練數據的安全性，以及部署專門的安全解決方案來保護AI模型免受操縱和攻擊。更重要的是，企業需要在AI開發和部署的每個階段整合安全最佳實踐，確保從設計之初就考慮到安全因素。

曾劭清指出：“在快速發展的GenAI領域，僅靠被動式的安全防衛已無法滿足保護需求。企業必須在AI系統的設計和運營過程中，建立自動移動目標防御體系，以防范可能的安全威脅。這種前瞻性的安全策略是保護企業不受新興技術風險侵害的關鍵。”

與此同時，攻擊者正利用GenAI的能力來提升其攻擊精細化和效率，對傳統安全防御體系構成新的挑戰。攻擊者利用GenAI進行更加自動化和智能化的攻擊，不僅提高了攻擊效率，也增加了攻擊的隱蔽性和復雜性。為了應對這些挑戰，企業必須采用基于AI的防御技術，這些技術能夠實時監控和分析異常行為，以識別和阻止潛在的威脅。

曾劭清指出：“攻擊者可以利用GenAI快速開發出新的攻擊方法，這要求我們的防御系統不僅要快速響應，還要足夠智能以識別和適應這些新型威脅。企業投資于AI驅動的安全解決方案，將是對抗這一新趨勢的關鍵。”

同時，GenAI技術的普及帶來了數據安全管理的復雜性，企業必須適應這種變化，以防范不斷增長的安全風險。GenAI可以處理和分析大量數據，但如果不當管理，也可能導致數據泄露或被惡意利用。因此，企業需要實施嚴格的數據治理措施，確保所有使用AI處理的數據都符合最新的安全標準和合規要求。此外，加強對AI操作的監控和審計，確保數據的完整性和隱私保護也至關重要。

曾劭清表示：“在這個由數據驅動的時代，確保數據安全是使用GenAI技術的企業面臨的一大挑戰。我們必須認識到，數據不僅是一個資產，也是一個潛在的風險點。采用先進的加密技術、訪問控制和實時監測系統是保護數據安全不可或缺的部分。