人工智慧快速應用於各大領域，並處理醫療保健、金融和國防等關鍵領域的敏感工作。快速採用也帶來了新的安全風險，組織對於強大安全措施的需求已受到關注。Cisco發布「AI安全現況」報告闡述AI的風險威脅、治理政策和安全研究之重要發展。

AI面臨的威脅來自多個層面：AI供應鏈風險、AI基礎設施風險、訓練數據風險、以及代理AI(Agentic Al)出現的新興風險。開發者在構建系統時，經常從外部來源整合預訓練模型、軟體庫和數據集，依賴第三方來源可能未注意隱藏漏洞或惡意代碼，從而危害整個AI應用的完整性。此外，針對大型語言模型和AI系統的特定攻擊方式不斷湧現，例如越獄攻擊(Jailbreaking)、對抗性提示(Adversarial Prompting)、上下文污染(Context Contamination)及間接提示注入(Indirect Prompt Injection)等攻擊，威脅作用於支撐AI系統和應用的基礎設施，可能引發威脅擴散，同時影響多個系統和客戶。

訓練數據的風險也不容忽視，AI模型需要處理並儲存大量數據，這使其成為數據竊取、篡改及未授權訪問的主要目標。由於這些模型處理的資訊往往高度敏感，一旦發生安全漏洞，其後果將被顯著放大。此外，代理AI系統與各種服務和供應商的整合程度加深，威脅行為者利用漏洞的機會隨之增加。攻擊者可能通過這些系統發動多階段攻擊，充分利用現代AI生態系統的互聯特性。

組織必須採取全面的AI安全策略，管理AI生命週期中每階段的風險，從開發、訓練、部署到使用，透過實時監控即時檢測異常行為或潛在攻擊，持續識別與緩解潛在漏洞，構建更具韌性的AI系統。謹慎選擇模型與數據集至關重要，應優先選用可靠來源，避免採用未經驗證的開源資源，以降低引入受損元素的風險。同時，建立獨立的安全層，以保護模型免受未授權的微調或其他可能損害其完整性或效能的修改。

安全措施必須根據不同AI應用的具體情境進行客製化，組織需保持警惕並靈活適應，持續更新安全措施，以應對新挑戰並防範潛在風險。各國政府與國際組織亦持續發布AI相關立法、國際合作協議和安全框架，共同面對當前多樣化且快速演變的AI環境。