数据处理方法、装置、设备和计算机可读存储介质制造方法及图纸

本发明专利技术公开了一种数据处理方法、装置、设备和计算机可读存储介质，该方法包括：根据用于检索的索引数据的元数据的结构定义，生成组件包；从原始数据中提取用于检索的基础数据；按基础数据的对象粒度将基础数据存储到预设的数据库中；从数据库中按对象粒度提取基础数据，根据组件包创建基础数据的索引数据，设置索引数据之间的关联关系后，置入预设的全文检索引擎。根据本发明专利技术的技术方案，能够大幅减少数据准备入大数据检索引擎前，数据预处理阶段的工作量。

Data processing method, device, equipment and computer readable storage medium

【技术实现步骤摘要】
数据处理方法、装置、设备和计算机可读存储介质
本专利技术涉及计算机
，尤其涉及一种数据处理方法、装置、设备和计算机可读存储介质。
技术介绍
各种社会行业领域的组织，如政府的职能部门，积累了社会上各种行业的数据。随着社会信息化程度的提高，数据种类、数据量增长非常迅速，整个社会都已经进入了大数据时代。面对各类纷繁芜杂的数据查询分析，传统的人力处理已经远远不能满足效率要求，全面信息化的需求越来越强烈。
技术实现思路
本专利技术的主要目的在于提出一种数据处理方法、装置、设备和计算机可读存储介质，旨在克服行业检索中数据量巨大、种类众多、分析困难的问题。为实现上述目的，本专利技术提供了一种数据处理方法，包括：根据用于检索的索引数据的元数据的结构定义，生成组件包；从原始数据中提取用于检索的基础数据；按所述基础数据的对象粒度将所述基础数据存储到预设的数据库中；从所述数据库中按所述对象粒度提取所述基础数据，根据所述组件包创建所述基础数据的所述索引数据，设置所述索引数据之间的关联关系后，置入预设的全文检索引擎。为实现上述目本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n根据用于检索的索引数据的元数据的结构定义，生成组件包；/n从原始数据中提取用于检索的基础数据；/n按所述基础数据的对象粒度将所述基础数据存储到预设的数据库中；/n从所述数据库中按所述对象粒度提取所述基础数据，根据所述组件包创建所述基础数据的所述索引数据，设置所述索引数据之间的关联关系后，置入预设的全文检索引擎。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
根据用于检索的索引数据的元数据的结构定义，生成组件包；
从原始数据中提取用于检索的基础数据；
按所述基础数据的对象粒度将所述基础数据存储到预设的数据库中；
从所述数据库中按所述对象粒度提取所述基础数据，根据所述组件包创建所述基础数据的所述索引数据，设置所述索引数据之间的关联关系后，置入预设的全文检索引擎。


2.根据权利要求1所述的方法，其特征在于，所述根据对用于检索的索引数据的元数据结构定义，生成组件包，包括：
根据所述元数据的结构定义、所述元数据的对象与要素之间的关系、所述元数据的对象与数据表之间的关系，生成所述组件包。


3.根据权利要求1所述的方法，其特征在于，在所述按所述基础数据的粒度将所述基础数据存储到预设的数据库中之前，还包括：
将所述基础数据存储到预设的大数据集群的文件系统中；
所述按所述基础数据的粒度将所述基础数据存储到预设的数据库中，包括：
从所述大数据集群的文件系统中提取所述基础数据，并根据所述组件包中所述索引数据的元数据的结构定义，按所述基础数据的所述对象粒度导入所述数据库中。


4.根据权利要求1所述的方法，其特征在于，所述从原始数据中提取用于检索的基础数据，包括：
通过预设的规则，对所述原始数据进行清洗转换，得到所述基础数据。


5.一种数据处理装置，其特征在于，包括：
业务模型构建模块，根据用于检索的索引数据的元数据的结构定义，生成组件包；
数据采集模块，从...

【专利技术属性】
技术研发人员：於文英，
申请(专利权)人：中兴通讯股份有限公司，
类型：发明
国别省市：广东;44