隨著生成式AI技術的飛速發展，如何確保技術不被誤用已成為全球科技產業的核心命題。OpenAI於2026年2月25日發布研究報告｢遏止惡意使用人工智慧｣總結過去兩年對威脅行為者濫用AI模式的洞察以及揭露真實案例研究。報告指出現今的威脅活動鮮少孤立存在於單一平台，威脅者往往將AI工具與傳統的社交媒體帳號、偽造網站相互結合，形成複雜的協作鏈，甚至會根據任務需求在不同的AI模型之間切換，跨平台的演化模式正對數位安全構成全新挑戰。
AI被深度整合進詐騙與影響力行動中，犯罪組織已將詐騙流程標準化為｢接觸、建立信任、收割｣三個階段，例如詐騙行動利用AI扮演專業導師與調情角色，誘騙受害者支付高額費用，甚至利用AI生成虛假的法律文件與執照進行二次詐騙，假冒詐騙資金追討服務，針對已經遭受詐騙的受害者進行再次詐騙。此外，有些國家利用AI進行大規模的造勢，偽裝成專家生成地緣政治評論文章，或針對特定政治人物與異議人士採取針對性的攻擊，包含搶註假帳號以掩蓋真實訊息，或是利用AI輔助大規模投訴來觸發平台的停權機制，試圖操控公眾認知。
研究報告分享主動偵測與跨界協作等防範機制，藉由持續強化模型內部的安全防護，讓模型在接收到涉及惡意影響力行動或詐騙規劃的指令時，能明確予以拒絕。同時追蹤特定行為特徵，精準識別並封禁違規帳號。平台大廠與執法部門採取情資共享，讓防禦網從單一軟體延伸至整個產業鏈。識別威脅不再僅僅是判斷內容是否由AI生成，更應觀察發布帳號的真實性與互動模式，並對缺乏專業執照證明、透過私密通訊軟體引導、或過於優渥的招募訊息保持高度警覺，才能在享受AI帶來的便利之餘，守住安全與真偽的界線。