数据转储方法、装置、设备及存储介质制造方法及图纸

本发明专利技术实施例公开了一种基于Map/Reduce架构的数据转储方法、装置、设备及存储介质。该方法包括：Map端获取目标数据，并根据目标数据分级框架对所述目标数据进行混洗；其中，所述目标数据以行式存储形式存储；Reduce端根据目标数据分层结构将混洗后的目标数据以列式存储形式进行汇总存储。在上述技术方案中，转储后的数据以列式存储形式进行存储，而且能够实现与目标数据分级框架对应的多元数据输出，由此提高了数据查询及使用效率。

Data dump method, device, equipment and storage medium

【技术实现步骤摘要】
数据转储方法、装置、设备及存储介质
本专利技术实施例涉及数据库
，尤其涉及一种基于Map/Reduce架构的数据转储方法、装置、设备及存储介质。
技术介绍
数据库是“按照数据结构来组织、存储和管理数据的仓库”，它的存储空间很大，可以存放百万条、千万条、上亿条数据，适用于各种类型的业务数据，例如游戏平台数据、医疗系统数据等等。然而，随着数据库中存储数据量的持续上升，如何提高数据查询及使用效率是亟待解决的问题。
技术实现思路
本专利技术实施例提供一种基于Map/Reduce架构的数据转储方法、装置、设备及存储介质，以提高数据查询及使用效率。第一方面，本专利技术实施例提供了一种基于Map/Reduce架构的数据转储方法，包括：Map端获取目标数据，并根据目标数据分级框架对所述目标数据进行混洗；其中，所述目标数据以行式存储形式存储；Reduce端根据目标数据分层结构将混洗后的目标数据以列式存储形式进行汇总存储。进一步的，所述Map端根据目标数据分级框架对所述目标数据进行混洗，包括：所述M本文档来自技高网...

【技术保护点】
1.一种基于Map/Reduce架构的数据转储方法，其特征在于，包括：/nMap端获取目标数据，并根据目标数据分级框架对所述目标数据进行混洗；其中，所述目标数据以行式存储形式存储；/nReduce端根据目标数据分层结构将混洗后的目标数据以列式存储形式进行汇总存储。/n

【技术特征摘要】
1.一种基于Map/Reduce架构的数据转储方法，其特征在于，包括：
Map端获取目标数据，并根据目标数据分级框架对所述目标数据进行混洗；其中，所述目标数据以行式存储形式存储；
Reduce端根据目标数据分层结构将混洗后的目标数据以列式存储形式进行汇总存储。


2.根据权利要求1所述的方法，其特征在于，所述Map端根据目标数据分级框架对所述目标数据进行混洗，包括：
所述Map端解析所述目标数据的键；
所述Map端根据目标数据分级框架对所述目标数据的键进行排序，得到混洗后的目标数据。


3.根据权利要求2所述的方法，其特征在于，所述Map端根据目标数据分级框架对所述目标数据的键进行排序，包括：
所述Map端根据目标数据分级框架对所述目标数据的键对应的哈希值进行排序。


4.根据权利要求1所述的方法，其特征在于，所述Reduce端根据目标数据分层结构将混洗后的目标数据以列式存储形式进行汇总存储，包括：
所述Reduce端获取预先配置的数据分层结构作为所述目标数据分层结构；
所述Reduce端根据目标数据分层结构将混洗后的目标数据以列式存储形式进行汇总存储。


5.根据权利要求1-4任一项所述的方法，其特征在于，所述列式存储形式包括parquet列式存储。


6.根据权利要求5所述的方法，其特征在于，所述Reduce端根据目标数据分层结构将混洗后的目标数据以列式存储形式进行汇总存储，包括：
所述Reduce端根据目标数据分层结构以及parquet列式存储的规范，对混洗后的目标数据进行汇总存储。


7.一...

【专利技术属性】
技术研发人员：宋大伟，丁静，
申请(专利权)人：苏州亿歌网络科技有限公司，
类型：发明
国别省市：江苏;32