Saimple是法國Numalis開發的一套工具,以形式化方法支援AI模型穩健性驗證與可解釋性分析。相較於僅以Accuracy、Recall、F1-Score等統計指標檢視有限測試資料,Saimple可在指定輸入子空間內分析模型對擾動的反應,評估影像雜訊、模糊、雨霧、光照變化等情境下,輸出是否仍維持在可接受範圍。
以影像分類為例,使用者可定義基準影像、擾動函數與強度,再由工具推估模型各層可能形成的輸出空間,判斷分類結果是否具備穩健性。Saimple也能透過Robustness Map標示資料領域中的脆弱區域,並搭配XAI功能協助確認模型是否依據合理特徵做出決策。
Saimple目前可應用於Computer Vision、Time Series與Tabular Data等任務,支援Neural Networks、CNN、RNN、SVM、Random Forest等模型;NLP相關應用仍在研發中。此類工具可與既有統計測試互補,作為AI測試實驗室建立標準化Robustness Testing Procedure、驗證報告與高風險AI系統評估依據的參考。