8月9日消息，近日，武漢大學(xué)與螞蟻集團(tuán)聯(lián)合發(fā)布了新一代語義增強(qiáng)遙感大模型SkySense++，堪稱12邊型戰(zhàn)士。
其相關(guān)研究成果在國際知名學(xué)術(shù)期刊《自然·機(jī)器智能》上在線發(fā)表。
當(dāng)前，遙感基礎(chǔ)大模型在復(fù)雜動態(tài)地球觀測場景應(yīng)用中面臨挑戰(zhàn)，如多模態(tài)遙感影像數(shù)據(jù)融合性能欠佳、下游任務(wù)微調(diào)依賴大量數(shù)據(jù)、對遙感語義信息挖掘不足等。
為攻克這些難題，研究團(tuán)隊(duì)基于前期多模態(tài)遙感大模型SkySense，研發(fā)出SkySense++。
SkySense++基于來自11個(gè)衛(wèi)星載荷的2700萬組多模態(tài)遙感影像，采用兩階段漸進(jìn)式學(xué)習(xí)完成預(yù)訓(xùn)練。有效緩解了大模型對復(fù)雜微調(diào)流程和大量標(biāo)注數(shù)據(jù)的依賴，極大提升了實(shí)用性與泛化性。
研究團(tuán)隊(duì)在農(nóng)業(yè)、林業(yè)、災(zāi)害管理等7個(gè)領(lǐng)域的12種典型地球觀測任務(wù)中，對SkySense++進(jìn)行全面評估。
實(shí)驗(yàn)結(jié)果顯示，SkySense++ 在這12項(xiàng)任務(wù)中均表現(xiàn)卓越，性能優(yōu)于其他模型。與同期最先進(jìn)方法相比，在全量微調(diào)分類與檢測任務(wù)上，平均精度提升4.79%；在少樣本提示分割任務(wù)上，平均交并比提升14.08%。
SkySense++的前序版本SkySense，曾在國際計(jì)算機(jī)視覺領(lǐng)域頂會CVPR發(fā)表，并在2024年世界人工智能大會發(fā)布。
而此次SkySense++在農(nóng)業(yè)生產(chǎn)評估、災(zāi)害應(yīng)急響應(yīng)、國土資源監(jiān)測等任務(wù)中，性能更為優(yōu)異、穩(wěn)定，還新增免微調(diào)部署能力。