Please wait a minute...
img

官方微信

遥感技术与应用  2018, Vol. 33 Issue (6): 1178-1185    DOI: 10.11873/j.issn.1004-0323.2018.6.1178
遥感应用     
基于Spark的分布式青藏高原MODIS LST插值方法实现研究
张博1,2,吴立宗2
(1.Key Laboratory of Remote Sensing of Gansu Province,Heihe Remote Sensing 
Experimental Research Station,Northwest Institute of Eco-Environment and Resources,Chinese Academy of Sciences,Lanzhou 730000,China;2.University of Chinese Academy of Sciences,Beijing 100049,China;3.Polar Research Institute,Shanghai 200136,China;
4.College of GeographyScience,Nanjing Normal University,Nanjing 210023,China)
A Spark-based Distributed Implementation of Interpolating MODIS LST over Qinghai-Tibetan Plateau
Zhang Bo1,2 ,Wu Lizong3,Wang Weizhen1,Sun Xuehui4
(1.中国科学院西北生态环境资源研究院,中国科学院黑河遥感试验研究站,甘肃省遥感重点实验室,甘肃 兰州 730000;
2.中国科学院大学,北京 100049;
3.中国极地研究中心,上海 200136;
4.南京师范大学地理科学学院,江苏 南京 210023)
 全文: PDF(2962 KB)  
摘要:

受云等诸多因素的影响,青藏高原的MODIS LST数据通常存在大面积数据缺失,传统的插值方法很难达到理想效果,因此学者们研究了许多新方法,其中较好的一种是利用和缺失像元具有相似的LST变化特征的已知像元集估算缺失像元的LST,能够能实现高精度插值,但计算花费巨大,通常需要借助高性能计算机完成。将分布式计算引擎Spark应用于该方法,用一个普通计算机群来代替高性能计算机实现对青藏高原MODIS LST数据快速有效的插值,并对比分析了不同硬件条件、不同数据尺度下原方法和基于Spark实现的该方法两者的性能。结果表明:基于Spark的实现方案有效可行;当节点数和数据量较少时,后者的性能低于前者;随着硬件资源和数据量的增加,后者的性能表现更好并逐渐超过前者;使用新版的Spark编写代码或着将插值方法的代码编译成.so动态库再通过Spark调用,可以进一步提高该方案的插值性能。

关键词: Spark分布式地表温度插值方法青藏高原
    
Abstract: The MODIS LST products are often obscured by clouds and other atmospheric disturbances,resulting in severe data loss.Traditional interpolation methods cannot be effectively applied when there is large area of missing data.Many methods are developed to solve this problem.A better approach is to estimate the LST of missing pixels by using a known set of pixels with a similar LST variation feature as the missing pixel.But it usually has to be done with supercomputers.In order to make the above method free from supercomputers computer,a distributed implementation of the method is proposed by combing it and the Spark that is a distributed computing engine.The interpolation efficiency of two model is compared under different hardware resources and data.The results show that the scheme is effective and feasible,the performance of the proposed method is lower than the Yu method when with a small amount of data and the cluster nodes,but with the increase of hardware resources,the performance of the proposed method is better than that of the Yu method.In addition,the performance of the scheme can be further improved by using the newest Spark or compiling the code of the Yu method into a .so library and then using the Spark call it.

Key words: Spark    Distributed Computing    Land Surface Temperature    Interpolation Method    Qinghai-Tibet
出版日期: 2019-01-29
服务  
把本文推荐给朋友
加入引用管理器
E-mail Alert
RSS
作者相关文章  

引用本文:

张博, 吴立宗. 基于Spark的分布式青藏高原MODIS LST插值方法实现研究[J]. 遥感技术与应用, 2018, 33(6): 1178-1185.

Zhang Bo, Wu Lizong, Wang Weizhen, Sun Xuehui. A Spark-based Distributed Implementation of Interpolating MODIS LST over Qinghai-Tibetan Plateau. Remote Sensing Technology and Application, 2018, 33(6): 1178-1185.

链接本文:

http://www.rsta.ac.cn/CN/10.11873/j.issn.1004-0323.2018.6.1178        http://www.rsta.ac.cn/CN/Y2018/V33/I6/1178

[1] 汪子豪, 秦其明, 孙元亨.

基于BP神经网络的地表温度空间降尺度方法 [J]. 遥感技术与应用, 2018, 33(5): 793-802.

[2] 王恺宁, 王修信, 黄凤荣, 罗涟玲. 喀斯特城市地表温度遥感反演算法比较[J]. 遥感技术与应用, 2018, 33(5): 803-810.
[3] 石满, 陈健, 覃帮勇, 李盛阳. 天宫二号数据地表温度反演及其在城市群热环境监测中的应用[J]. 遥感技术与应用, 2018, 33(5): 811-819.
[4] 李军, 龚围, 辛晓洲, 高阳华. 重庆地表温度的遥感反演及其空间分异特征[J]. 遥感技术与应用, 2018, 33(5): 820-829.
[5] 金点点, 宫兆宁. 基于Landsat 系列数据地表温度反演算法对比分析—以齐齐哈尔市辖区为例[J]. 遥感技术与应用, 2018, 33(5): 830-841.
[6] 史新,周买春. 基于Landsat 8数据的3种地表温度反演算法在三河坝流域的对比分析[J]. 遥感技术与应用, 2018, 33(3): 465-475.
[7] 吴兴,张霞,孙雪剑,张立福,戚文超. SPARK卫星高光谱数据辐射质量评价[J]. 遥感技术与应用, 2018, 33(2): 233-240.
[8] 郑明亮,黄方,张鸽. 基于TsHARP模型和STITFM算法的地表温度影像融合研究[J]. 遥感技术与应用, 2018, 33(2): 275-283.
[9] 李珊珊,蒋耿明. 基于通用分裂窗算法和Landsat-8数据的地表温度反演研究[J]. 遥感技术与应用, 2018, 33(2): 284-295.
[10] 李艳,侯金亮,黄春林. 基于Copula函数的地表温度空间降尺度研究[J]. 遥感技术与应用, 2017, 32(5): 818-824.
[11] 郑飞,张殿发,孙伟伟,杨刚. 基于ASTER遥感的杭州城市热/冷岛的景观特征分析[J]. 遥感技术与应用, 2017, 32(5): 938-947.
[12] 李小龙,杨英宝,曹利娟,章勇. 基于遥感和CFD模拟的城市绿地形态对热环境的影响研究[J]. 遥感技术与应用, 2016, 31(6): 1150-1157.
[13] 臧琳,宋冬梅,单新建,崔建勇,邵红梅,沈晨,时洪涛,宋先月. 基于被动微波与时空联合算法的云下像元LST重建[J]. 遥感技术与应用, 2016, 31(4): 764-772.
[14] 刘龙历,薛勇,光洁,刘佳. 遥感网格的数据压缩与任务分配方法研究[J]. 遥感技术与应用, 2016, 31(2): 247-254.
[15] 赵伟,李爱农,张正健,边金虎,靳华安,尹高飞,南希,雷光斌. 基于Landsat8热红外遥感数据的山地地表温度地形效应研究[J]. 遥感技术与应用, 2016, 31(1): 63-73.