【儀表網(wǎng) 研發(fā)快訊】隨著深度學(xué)習(xí)技術(shù)在圖像分割任務(wù)中的廣泛應(yīng)用，如何準(zhǔn)確評(píng)估模型性能成為了研究的重點(diǎn)和難點(diǎn)。傳統(tǒng)的評(píng)估方法往往受限于類(lèi)別分布的變化，導(dǎo)致評(píng)價(jià)結(jié)果出現(xiàn)偏差。對(duì)此，唐立娜研究員領(lǐng)銜的合作團(tuán)隊(duì)通過(guò)引入圖像分類(lèi)效能(Image Classification Efficacy, ICE)指標(biāo)，提供了一種更為精細(xì)的評(píng)估框架，特別是在缺乏黃金標(biāo)準(zhǔn)的情況下。該研究系統(tǒng)應(yīng)用ICE指標(biāo)，旨在解決深度學(xué)習(xí)圖像分割模型在面對(duì)分類(lèi)類(lèi)別不平衡時(shí)潛在的評(píng)估難題。
 

　　在這項(xiàng)研究中，團(tuán)隊(duì)?wèi)?yīng)用多模態(tài)遙感數(shù)據(jù)(多光譜和LiDAR數(shù)據(jù))，從多個(gè)角度(單一或多個(gè)模型在同一或不同數(shù)據(jù)集上的測(cè)試，以及二分類(lèi)和多分類(lèi)方案)進(jìn)行了六組圖像分割實(shí)驗(yàn)，系統(tǒng)演示了ICE指標(biāo)的應(yīng)用。
 

　　通過(guò)與Precision、Recall、F-Score和Overall Accuracy等常用精度評(píng)價(jià)指標(biāo)進(jìn)行對(duì)比，ICE指標(biāo)顯示出穩(wěn)定的可靠性。此外，研究還探討了Kappa系數(shù)、ROC-AUC和PR-AUC等其他常用評(píng)估指標(biāo)的適用性，并與ICE指標(biāo)進(jìn)行了比較。研究結(jié)果顯示，ICE指標(biāo)在處理類(lèi)別不平衡問(wèn)題時(shí)具有明顯優(yōu)勢(shì)，該指標(biāo)能夠有效地降低類(lèi)別不平衡帶來(lái)的影響，從而更加準(zhǔn)確地評(píng)估模型的性能。這種方法將有助于提高圖像分割工具的可靠性和適用性，尤其是在遙感應(yīng)用領(lǐng)域。
 

　　這項(xiàng)研究有望為圖像分割領(lǐng)域提供一項(xiàng)新的、性能更加穩(wěn)定評(píng)估工具，進(jìn)一步增強(qiáng)圖像分割工具在各種應(yīng)用中的性能和實(shí)用性。相關(guān)研究成果以Bolstering Performance Evaluation of Image Segmentation Models with Efficacy Metrics in the Absence of a Gold Standard為題發(fā)表在遙感領(lǐng)域國(guó)際頂級(jí)期刊IEEE Transactions on Geoscience and Remote Sensing上，中國(guó)科學(xué)院城市環(huán)境研究所研究員唐立娜為第一作者兼通訊作者，美國(guó)普渡大學(xué)邵金圓博士生為共同通訊作者。該研究得到了國(guó)家重點(diǎn)研發(fā)計(jì)劃(2022YFF1301303)的資助。
 

圖1 精度評(píng)估和模型表現(xiàn)評(píng)價(jià)流程