一种基于Hadoop的大数据遥感卫星数据处理系统技术方案

技术编号:12304369 阅读:147 留言:0更新日期:2015-11-11 13:35
本发明专利技术提供了一种基于Hadoop的大数据遥感卫星数据处理系统,该系统包括数据获取子系统、Hadoop数据平台、计算处理子系统和应用子系统,其中,Hadoop数据平台包括分布式文件子系统、资源管理子系统、数据库和物理存储单元;该系统以数据在线化为基础,支持面向应用的分布式存储和处理,可以同时支持横向跨行业和纵向跨历史的数据分析。该系统具有灵活的可扩展性,支持未来新发射的遥感卫星地面系统的快速建设和在线接入。

【技术实现步骤摘要】

本专利技术涉及计算机技术在遥感卫星数据处理系统中的应用领域,特别涉及一种基于Hadoop的大数据遥感卫星数据处理系统
技术介绍
随着卫星遥感的快速发展,遥感卫星数据在国土、林业等领域逐渐呈现出业务化应用的趋势,而目前遥感卫星数据处理系统的体系架构,基于现有技术发展水平,以满足用户需求为导向,尚未对具有“3V(Volume !Variety !Velocity) ”特征且不能用常规手段处理的遥感卫星大数据进行适应性分析与设计。随着硬件成本的降低,网络带宽的提升,分布式计算的兴起,网络技术的发展、智能终端及物联网等的兴起与应用,遥感卫星数据的时空尺度和要素类型全面拓展,其种类和数据量急剧膨胀,逐渐呈现出多源、多维、大量、多态和高速的大数据特征,且用户在大数据时代对于数据信息的需求呈现多元化趋势,有效处理、存储、分析和应用这些大数据,满足用户的多元化需求已经成为未来遥感卫星数据处理系统设计的关键。当前,为满足多星地面处理系统功能和性能的要求,根据计算机、存储、网络和信息技术的发展,遥感卫星数据处理系统采用集中存储管理、集中处理的体系架构,分为数据获取层、数据存储层、数据处理与分本文档来自技高网...

【技术保护点】
一种基于Hadoop的大数据遥感卫星数据处理系统,其特征在于:包括数据获取子系统、Hadoop数据平台、计算处理子系统和应用子系统,所述Hadoop数据平台包括分布式文件子系统、资源管理子系统、数据库和物理存储单元,其中:数据获取子系统:接收外部采集系统发送的源数据,对所述源数据进行解压缩或格式转换,然后将数据发送到Hadoop数据平台的分布式文件子系统;分布式文件子系统:接收数据获取子系统发送的数据,以及计算处理子系统发送的数据处理结果,将所述数据和数据处理结果按照分布式存储策略存储在物理存储单元中,并将所述存储数据和数据处理结果的元信息存储在数据库中;资源管理子系统:接收应用子系统发送的指...

【技术特征摘要】

【专利技术属性】
技术研发人员:邵俊徐文喻文勇徐大琦冯春
申请(专利权)人:中国资源卫星应用中心
类型:发明
国别省市:北京;11

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1