2024年6月3日下午15:00，我校在崇真樓南樓A4030舉行了第639期陽光論壇，特邀新加坡A*STAR的研究員兼助理教授馮春梅作「多模態視覺交互理解」的講座。本次論壇由k8凯发国际與人工智能學院副院長彭濤教授主持，k8凯发国际與人工智能學院科研帶頭人以及全體研究生共同參與。

在現代社會語言和視覺交互對我們理解現實世界起着至關重要的作用，這突顯了多模態視覺交互理解作為一個前景廣闊領域的重要性。對此，馮老師就多模態互動、與客戶的互動兩方面進行具體闡述，致力於加強多模態協作和推理能力：一方面，多模態互動，包括組合圖像檢索（CIR）和參考圖像分割（RIS）。CIR利用相關的標題來優化圖像檢索結果，而RIS則通過語言描述來精確識別分割目標。另一方面，即與客戶的互動，它為CIR和醫療RIS提供私隱保護方式，因為這些常常涉及不同的平台，如阿里巴巴、亞馬遜和eBay，以及各類醫院。此外，馮教授還討論了如何促進額外模態和交互技術的整合，例如開發適用於現實世界電子商務應用的實用系統，將理解能力轉化為執行能力，並賦予AI代理實現人-物交互的能力。

講座結束後，馮老師與在場的師生進行了互動，解答了大家的疑問，並提供了一些實用的研究建議。她鼓勵年輕學者大膽創新，結合實際需求，探索多模態技術的更多可能性，為科學研究和社會應用作出貢獻。

簡介:

馮春梅教授目前是新加坡A*STAR的研究員。在此之前，她於2022年獲得了深圳哈爾濱工業大學的博士學位。在攻讀博士期間，她於2020年在人工智能起點研究院（IIAI）實習，並於2021年訪問了蘇黎世聯邦理工學院。她的研究興趣包括多模態視覺理解、醫學影像以及大規模預訓練模型時代的去中心化人工智能。她在多個頂級會議和期刊上發表了大量經過同行評審的論文，包括CVPR、ICCV、ICLR（Spotlight）、MICCAI（Early Accept）、AAAI，以及一些期刊，如TIP、TNNLS和TMI。