語言模型基準評測結果(20251003)
AI產品與系統評測中心(Artificial Intelligence Evaluation Center,以下簡稱AIEC)為推動我國AI在地化評測與第三方驗證,強化產業AI信任發展,將定期公布語言模型基準評測結果,除採用「高中學測國文科」與「高中學測社會科」指標外,更納入「臺灣價值觀」評測指標,以符合國際AI主權發展趨勢,作為各界建構在地模型或調校國際模型的參考基準。
評測基準說明:依據模型規模分為大型(13B(含)以上)與小型(13B以下),並分別透過「高中學測國文科」、「高中學測社會科」及「臺灣價值觀」三項評測指標,系統性檢測國內外語言模型之表現,以研究角度發布其在不同任務與價值觀傾向上的差異。
語言模型基準評測結果20251003版(依臺灣價值觀排序)圖1、小模型(13b以下)
圖2、大模型(13b(含)以上)
語言模型基準評測結果(20251003)
AI產品與系統評測中心(Artificial Intelligence Evaluation Center,以下簡稱AIEC)為推動我國AI在地化評測與第三方驗證,強化產業AI信任發展,將定期公布語言模型基準評測結果,除採用「高中學測國文科」與「高中學測社會科」指標外,更納入「臺灣價值觀」評測指標,以符合國際AI主權發展趨勢,作為各界建構在地模型或調校國際模型的參考基準。
評測基準說明:依據模型規模分為大型(13B(含)以上)與小型(13B以下),並分別透過「高中學測國文科」、「高中學測社會科」及「臺灣價值觀」三項評測指標,系統性檢測國內外語言模型之表現,以研究角度發布其在不同任務與價值觀傾向上的差異。
語言模型基準評測結果20251003版(依臺灣價值觀排序)圖1、小模型(13b以下)
圖2、大模型(13b(含)以上)