跳到主要內容

[標題]最新消息

Numalis穩健性評測工具介紹:Saimple

Saimple是法國Numalis開發的一套工具,以形式化方法支援AI模型穩健性驗證與可解釋性分析。相較於僅以Accuracy、Recall、F1-Score等統計指標檢視有限測試資料,Saimple可在指定輸入子空間內分析模型對擾動的反應,評估影像雜訊、模糊、雨霧、光照變化等情境下,輸出是否仍維持在可接受範圍。

以影像分類為例,使用者可定義基準影像、擾動函數與強度,再由工具推估模型各層可能形成的輸出空間,判斷分類結果是否具備穩健性。Saimple也能透過Robustness Map標示資料領域中的脆弱區域,並搭配XAI功能協助確認模型是否依據合理特徵做出決策。

Saimple目前可應用於Computer Vision、Time Series與Tabular Data等任務,支援Neural Networks、CNN、RNN、SVM、Random Forest等模型;NLP相關應用仍在研發中。此類工具可與既有統計測試互補,作為AI測試實驗室建立標準化Robustness Testing Procedure、驗證報告與高風險AI系統評估依據的參考。

相關連結:
Saimple官方介紹 (另開視窗)
相關圖片:
請參考下方圖片說明
圖1:Saimple可與既有統計方法並行,透過形式化方法補足傳統指標在測試覆蓋上的限制。
請參考下方圖片說明
圖2:Saimple依ISO/IEC 24029-2概念,將基準影像與擾動條件轉為輸入空間,分析模型輸出是否維持穩健。
請參考下方圖片說明
圖3:Robustness Map以視覺化方式呈現模型在資料領域中的穩定與脆弱區域,協助定位需改善或補強測試的hotspot。