【儀表網(wǎng) 研發(fā)快訊】近日，中國科學(xué)院西安光機(jī)所在高光譜數(shù)據(jù)智能處理算法與視覺大模型應(yīng)用研究方面取得重要進(jìn)展，相關(guān)成果發(fā)表于IEEE Transactions on Geoscience and Remote Sensing (IF=8.6)。論文第一作者為西安光機(jī)所光譜成像技術(shù)研究室陳寶澄博士研究生，導(dǎo)師為西安光機(jī)所張耿研究員和陳鐵橋副研究員(通訊作者)。論文工作得到了新加坡國立大學(xué)王猛研究員的指導(dǎo)。論文第一完成單位和通訊單位為西安光機(jī)所。
 

　　與傳統(tǒng)光學(xué)遙感相比，高光譜遙感圖像具有數(shù)百個獨(dú)立光譜波段，能夠更精確地識別地表物質(zhì)。然而，標(biāo)注樣本稀缺長期以來嚴(yán)重制約了其實(shí)際應(yīng)用?，F(xiàn)有研究多采用少樣本學(xué)習(xí)范式，雖在一定程度上緩解了樣本不足的問題，但由于缺乏對跨域光譜信息的一致性約束，加之?dāng)?shù)據(jù)稀缺導(dǎo)致模型規(guī)模難以擴(kuò)展，其跨域泛化能力仍然受限。
 

圖 SpectralDINO模型框架
 

　　針對上述問題，研究團(tuán)隊(duì)創(chuàng)新性地提出了一種基于視覺大模型的高光譜少樣本分類框架SpectralDINO。該框架通過源域光譜對齊模塊統(tǒng)一各數(shù)據(jù)域的光譜信息，增強(qiáng)模型學(xué)習(xí)跨域通用特征能力。團(tuán)隊(duì)同時設(shè)計(jì)了一種新型低秩適應(yīng)(Low-Rank Adaptation, LoRA)模塊，并使用交替訓(xùn)練策略對視覺大模型進(jìn)行微調(diào)，通過雙混合子空間的設(shè)計(jì)，解決了原始LoRA無法區(qū)分跨域數(shù)據(jù)的結(jié)構(gòu)性問題。
 

　　實(shí)驗(yàn)顯示，該方法有效提升了模型從少量樣本提取特征的泛化能力，提高了模型在高光譜少樣本分類任務(wù)中的表現(xiàn)，在多個公開數(shù)據(jù)集上超越現(xiàn)有先進(jìn)方法并實(shí)現(xiàn)了最佳分類準(zhǔn)確率，為環(huán)境檢測、精準(zhǔn)農(nóng)業(yè)等遙感應(yīng)用提供新的技術(shù)路徑。
 

圖 不同方法在Pavia University數(shù)據(jù)集上的分類結(jié)果
 

　　該工作得到了國家自然科學(xué)基金項(xiàng)目、陜西省自然科學(xué)基礎(chǔ)研究項(xiàng)目、陜西省重點(diǎn)研發(fā)計(jì)劃等項(xiàng)目支持。
 

　　西安光機(jī)所光譜成像技術(shù)研究室致力于將傳統(tǒng)遙感信息處理與AI大模型結(jié)合，提升星載/機(jī)載高光譜遙感數(shù)據(jù)產(chǎn)品的應(yīng)用效能。張耿、陳鐵橋團(tuán)隊(duì)長期專注于高光譜數(shù)據(jù)智能處理領(lǐng)域，在TGRS、JSTARS、RS等遙感與圖像處理期刊發(fā)表多篇學(xué)術(shù)論文，授權(quán)國家發(fā)明專利多項(xiàng)。團(tuán)隊(duì)主持了國家重點(diǎn)研發(fā)計(jì)劃、自然科學(xué)基金、陜西省自然科學(xué)基金等項(xiàng)目。