研究成果“Target-aware Dual Adversarial Learning and a Multi-scenario Multi-Modality Benchmark to Fuse Infrared and Visible for Object Detection”由軟件學院博士研究生劉晉源，國際信息與軟件學院樊鑫教授、本科生黃展搏、本科生吳冠堯、劉日升教授、仲維副教授，羅鐘鉉教授共同合作完成。該項研究針對多模態圖像融合存在的融合后目標不清晰、視覺質量和感知性能差等問題，提出了聯合圖像融合與下游視覺任務的雙層優化框架。該框架“求同存異”探究了融合圖像與源圖像中背景與顯著目標物兩方面的差異，從而更好地從紅外和可見光源圖像中提取并保留目標的結構信息和紋理細節。此外，研究還構建了一個紅外和可見光傳四目同步成像系統，建立了大型全天候多場景數據集（4000+成對數據及20000+的標注）。該研究方法不但在視覺上具有吸引力、定性分析中各融合指標有明顯優勢，而且在多種挑戰環境的場景下，融合后的目標檢測結果的mAP率較現有最先進的方法提升10%以上。
研究成果“Unsupervised Misaligned Infrared and Visible Image Fusion via Cross-Modality Image Generation and Registration”由軟件學院博士研究生王迪、劉晉源，國際信息與軟件學院樊鑫教授、劉日升教授共同完成。該項研究針對現有多模態圖像融合方法難以處理未對齊圖像的空間形變、導致融合圖像產生邊緣重影等問題，提出了一種面向紅外與可見光圖像融合的無監督跨模態“配準-融合”聯合框架。該框架致力于縮小多源圖像模態間的固有差異，提出專門處理多模態圖像對齊的“生成-配準”方法，實現了紅外與可見光圖像的有效對齊。該方法極大地促進了未對齊圖像的融合性能，有效抑制了融合圖像的結構扭曲與邊緣重影，從而為下游視覺任務提供高質量的融合圖像。
我校幾何計算與智能媒體技術研究團隊與立命館大學合作建立健康醫療智能計算聯合研究中心，研究課題包括機器學習、深度學習、計算機視覺、多媒體技術、優化方法等當前最前沿的領域，及其在醫療和健康領域中的應用。近年來在IEEE TPAMI、TIP、NeurIPS、CVPR、ECCV、IJCAI、AAAI、ACM MM等人工智能、多媒體技術等多領域的重要期刊及會議上發表論文達100余篇。該團隊也一直致力于面向國家重大需求，加強關鍵共性技術研究，已經在全天候車載多波段立體視覺感知單元，以及水下目標自主抓取機器人等應用研發方面取得突破。
