上海軟件中心人工智能治理研究所團隊獲IEEE CSCloud2024 最佳論文獎

近日，由IEEE舉辦的第11屆網(wǎng)絡(luò )安全與云計算國際會(huì )議（IEEE CSCloud 2024）上，上海軟件中心人工智能治理研究所完成的論文 《An Evaluation System for Large Language Models Based on Open-Ended Questions》（基于開(kāi)放問(wèn)題的大語(yǔ)言模型評測系統）” 榮獲最佳論文獎。

此次獲獎?wù)撐摹禔n Evaluation System for Large Language Models Based on Open-Ended Questions》由曹致遠、馬澤宇、陳敏剛共同完成，論文研究并設計了基于開(kāi)放問(wèn)題的大語(yǔ)言模型自動(dòng)化評測系統，該系統可對大模型在常識、推理、專(zhuān)業(yè)知識等方面進(jìn)行多維度、自動(dòng)化測評。論文的主要貢獻包括：（1）提出了一種結合規則化、LLM測評和人工審核的大模型測評方法；（2）提供了一套基于開(kāi)源數據集的開(kāi)放式問(wèn)題測評數據集。

本次IEEE CSCloud 2024在復旦大學(xué)舉辦，會(huì )議的主要議題包括人工智能使能的計算安全性、魯棒的深度學(xué)習技術(shù)和應用、使用AI的云安全和隱私、基于強化學(xué)習的安全機制、云/霧/邊緣計算中的新興攻擊方法等。