数据处理方法、装置、存储介质及电子装置制造方法及图纸

本发明专利技术实施例提供了一种数据处理方法、装置、存储介质及电子装置，其中，该方法包括：基于获取到的任务数据确定处理任务数据所需的目标算子；确定目标算子在对任务数据进行处理时目标算子中所包括的任务数据的数据量；在目标算子中包括的线程的数量与数据量不匹配的情况下，将目标算子中包括的线程的数量调整为与数据量匹配的目标数量；通过目标数量的线程处理任务数据。通过本发明专利技术，解决了相关技术中存在的处理数据速度慢的问题，达到提高数据处理速度，节省资源的效果。

【技术实现步骤摘要】
数据处理方法、装置、存储介质及电子装置
本专利技术实施例涉及通信领域，具体而言，涉及一种数据处理方法、装置、存储介质及电子装置。
技术介绍
随着大数据技术在各行各业的广泛应用，要求能对海量数据进行实时处理的需求越来越多，同时数据处理的业务逻辑也越来越复杂，传统的批处理方式和早期的流式处理框架也越来越难以在延迟性、吞吐量、容错能力以及使用便捷性等方面满足业务日益苛刻的要求。大数据流式计算的应用场景较多，按照数据产生方式、数据规模大小以及技术成熟度高低这3个不同维度,金融银行业应用、互联网应用和物联网应用。目前，业界成熟的实时流式处理系统有很多。有成熟的商业产品，也有公司、组织或个人开源出来的产品，这些产品有的已经经过生产验证，有些只是原型产品，并且开放出来供调用的接口过多。这种产品现状导致，面对如此众多的、令人烟花缭乱的产品，身为一线的代码开发人员，在前期产品选型、试用，后期产品学习、使用等方面面临诸多困难和压力，增加了开发人员的学习曲线，并且调用过程过于复杂。因此，业界又面临着如何简化现有的流式处理产品的问题。在相关技术中，业务系统实时本文档来自技高网...

【技术保护点】
1.一种数据处理方法，其特征在于，包括：/n基于获取到的任务数据确定处理所述任务数据所需的目标算子；/n确定所述目标算子在对所任务数据进行处理时所述目标算子中所包括的所述任务数据的数据量；/n在所述目标算子中包括的线程的数量与所述数据量不匹配的情况下，将所述目标算子中包括的线程的数量调整为与所述数据量匹配的目标数量；/n通过所述目标数量的所述线程处理所述任务数据。/n

【技术特征摘要】
1.一种数据处理方法，其特征在于，包括：
基于获取到的任务数据确定处理所述任务数据所需的目标算子；
确定所述目标算子在对所任务数据进行处理时所述目标算子中所包括的所述任务数据的数据量；
在所述目标算子中包括的线程的数量与所述数据量不匹配的情况下，将所述目标算子中包括的线程的数量调整为与所述数据量匹配的目标数量；
通过所述目标数量的所述线程处理所述任务数据。


2.根据权利要求1所述的方法，其特征在于，在所述目标算子中包括的线程的数量与所述数据量不匹配的情况下，将所述目标算子中包括的线程的数量调整为与所述数据量匹配的目标数量包括：
确定所述目标算子中包括的每个所述线程的数据处理量；
基于所述数据处理量确定所述目标算子中包括的全部线程的总数据处理量；
基于所述总数据处理量确定所述线程的数量与所述数据量是否匹配；
在确定所述线程的数量与所述数据量的不匹配的情况下，将所述目标算子中包括的线程的数量调整为与所述数据量匹配的目标数量。


3.根据权利要求2所述的方法，其特征在于，在确定所述线程的数量与所述数据量的不匹配的情况下，将所述目标算子中包括的线程的数量调整为与所述数据量匹配的目标数量包括：
在确定所述数据量超过所述总数据处理量的情况下，确定所述目标算子中包括的线程的数量与所述数据量不匹配，基于所述数据量以及线程属性确定所述目标算子中需要增加的线程的第一数量，并在所述目标算子中增加所述第一数量的所述线程，所述线程属性用于指示线程处理数据的能力。


4.根据权利要求2所述的方法，其特征在于，在基于所述总数据处理量确定所述线程的数量与所述数据量的不匹配的情况下，将所述目标算子中包括的线程的数量调整为与所述数据量匹配的目标数量包括：
在确定所述数据量小于所述总数据处理量的情况下，确定所述目标算子中包括的线程的数量与所述数据量不匹配，基于所述数据量以及线程属性确定所述目标算子中需要减少的线程的第二数量，并在所述目标算子中减少所述第二数量的所述线程，所述线程属性用于指示线程处理数据的能力。


5.根据权利要求3所述的方法，其特征在于，在所述目标算子中增加所述第一数量的所述线程之后，所述方法还包括：
判断在预定时间内所述数据量的变化量；
在所述变化量小于第一阈值的情况下，在所述目标算子中删除所述第一数量的所述线程；
在所述变化量大于第二阈值的情况下，推送所述目标算子处理所述任务数据的日志信息。


6.根据权利要求5所述的方法，其特征在于，在所述变化量小于第一阈值的情况下，在所述目标算子中删除所述第一数量的所述线程之后，所述方法还包括：
执行告警操作，并在目标显示界面显示处理所述任务数据的状态信息。


7.根据权利要求1所述的方法，其特征在于，基于获取到的任务数据确定处理所述任务数据所需的目标算子包括：
确定所述任务数据的目标类型；
基于所述目标类型确定所述目标算子。


8.根据权利要求7所述的方法，其特征在于，基于所述目标类型确定所述目标算子包括：
在确定所述目标类型为单消息数据类型的情况下，确定所述目标算子为结构化查询语言SQL处理算子；
在确定所述目标类型为消息表数...

【专利技术属性】
技术研发人员：斯奇能，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：浙江;33