【技术实现步骤摘要】
一种数据处理的方法、装置、计算机存储介质及终端
本文涉及但不限于大数据技术，尤指一种数据处理的方法、装置、计算机存储介质及终端。
技术介绍
在大数据时代，数据资源需要通过任务平台进行调度，用来支撑不同业务模块的数据层，由于数据量较大，且数据具有实时性，需要一种高效的数据处理方法。当前平台对各业务模块数据流的处理方法均较为传统，使用的数据库和接口均为相关技术中的已有的结构，且部分平台各个业务模块之间耦合度较高，对数据传输要求不高，但数据处理效率较低，维护复杂。
技术实现思路
以下是对本文详细描述的主题的概述。本概述并非是为了限制权利要求的保护范围。本专利技术实施例提供一种数据处理的方法、装置、计算机存储介质及终端，能够降低平台各个业务模块之间的耦合度，提升数据处理效率。本专利技术实施例提供了一种数据处理的方法，包括：通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。可选的，所述数据流任务包括以下一种或一种以上任务：实时任务、定时任务、触发任务。可选的，所述根据平台...
【技术保护点】
1.一种数据处理的方法，其特征在于，包括：通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。
【技术特征摘要】
1.一种数据处理的方法，其特征在于，包括：通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；基于SOLR建立任务组件间进行数据流传输的数据流接口后，根据平台业务进行数据流任务的处理。2.根据权利要求1所述的方法，其特征在于，所述数据流任务包括以下一种或一种以上任务：实时任务、定时任务、触发任务。3.根据权利要求2所述的方法，其特征在于，所述根据平台业务对数据流任务进行数据流处理包括：所述数据流任务包括所述实时任务时，选择NIFI实时任务组件，并配置实时任务组件的相关参数，通过完成相关参数配置的NIFI实时任务组件进行实时任务的数据流处理；所述数据流任务包括所述定时任务时，选择NIFI定时任务组件，根据选择的NIFI定时任务组件进行定时任务的数据读取。4.根据权利要求1～3任一项所述的方法，其特征在于，所述根据平台业务进行数据流任务的处理之前，所述方法还包括：按照预设的封装策略，通过NIFI设置数据流任务涉及的各种类数据流的封装格式；其中，所述封装格式包括：JS对象简谱JSON、可扩展标记语言XML或预设的封装格式。5.根据权利要求1～3任一项所述的方法，其特征在于，所述根据平台业务进行数据流任务的处理后，所述方法还包括：对数据流任务处理后的处理数据，通过SOLR按照预设文件格式进行整理并缓存。6.根据权利要求5所述的方法，其特征在于，对所述处理数据按照预设文件格式进行整理并缓存时，所述方法还包括：生成对应于所述处理数据的日志文件。7.一种数据处理的装置，其特征在于，包括：建立单元和处理单元；其中，建立单元用于：通过NIFI建立数据流任务，并为建立的数据流任务运行相应的任务组件；处理单元用于：基于SOLR建立任务组件间进行数据流...
【专利技术属性】
技术研发人员：姬贵阳，
申请(专利权)人：郑州云海信息技术有限公司，
类型：发明
国别省市：河南,41
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。