【技术实现步骤摘要】
本申请涉及数据处理领域，特别是涉及一种处理框架、数据处理方法、装置和计算机存储介质。
技术介绍
1、数据分析的目的是把隐藏在一大批看来杂乱无章的数据中的信息集中和提炼出来，从而找出所研究对象的内在规律。在实际应用中，数据分析可帮助人们做出判断，以便采取适当行动。数据分析是有组织有目的地收集数据、分析数据，使之成为信息的过程。
2、而随着5g技术的高速发展，越来越多的物联网设备通过5g网络接入到了各种系统中，这些物联网设备源源不断的产生各种感知数据，其中有音频、视频、图像、文本等各种模态的数据，这些数据是物联网设备从各自的角度对真实世界的感知和描述。对这些多模态数据进行实时处理、分析、关联等计算操作后，就可以得到数字化后的物理世界的全貌。所谓多模态数据，指的是在一个系统中处理多个数据源的数据，可以是视觉、声音、纹理等，它们往往同时存在于一个场景中。多模态数据融合和分析是将不同的数据源进行融合，以获得更准确和全面的信息，从而帮助人们更好地理解和使用数据。
3、在传统的大数据分析平台中，往往侧重于分析来自业务数据库的结构化数据，以及日志等文本类数据，或是分析某一特定模态或业务的数据。对多模态数据之间的关联处理，在大数据平台层面缺少通用化、系统化的能力支撑，数据分析和数据开发人员需要投入较大的成本应对不同模态数据之间的关联处理、无法将精力聚焦于核心业务。
技术实现思路
1、本申请主要解决的技术问题是如何实现多模态数据的通用化处理与分析，对此，本申请提供一种处理框架、
2、为解决上述技术问题，本申请采用的一个技术方案是：提供一种处理框架，该处理框架包括数据源、操作算子以及数据汇；数据源用于基于不同的传输协议获取初始数据并发送给操作算子，初始数据包括多模态数据和结构化数据，数据源与一种数据类型的初始数据对应；操作算子用于对初始数据进行处理；数据汇用于接收操作算子处理后的数据并输出。
3、其中，传输协议包括：实时流传输协议、实时消息传输协议、实时通讯协议、图片网关协议中的一种或多种。
4、其中，操作算子包括基础算子和自定义算子；基础算子包括过滤算子、分组算子、转换算子和/或合并算子，其中，过滤算子用于对初始数据进行过滤得到符合条件的数据，分组算子用于基于初始数据的属性值对初始数据分组，转换算子用于基于自定义函数对初始数据进行转换，合并算子用于对初始数据进行两两聚合；自定义算子用于对初始数据进行与业务场景相关的处理。
5、其中，处理框架还包括重启模块；重启模块用于当操作算子处理出错时，还原错误处理的多模态数据并控制操作算子重新处理还原的多模态数据。
6、其中，数据源还用于基于多模态数据的模态类型定义多模态数据的结构化数据类型。
7、为解决上述技术问题，本申请采用的另一个技术方案是：提供一种数据处理方法，该方法包括：基于业务场景需求构建上述的处理框架；使用处理框架中的不同数据源分别对多模态数据和结构化数据进行获取；基于处理框架中的操作算子分别对多模态数据和结构化数据进行处理；使用处理框架中的数据汇输出最终处理结果。
8、其中，在基于处理框架中的操作算子分别对多模态数据和结构化数据进行处理之后，还包括：将处理结果输入下级操作算子中进行处理。
9、为解决上述技术问题，本申请采用的另一个技术方案是：提供一种数据处理装置，该数据处理装置包括处理器和存储器，存储器与处理器耦接，存储器存储有程序数据，处理器用于执行程序数据以实现如上述的数据处理方法。
10、为解决上述技术问题，本申请采用的另一个技术方案是：提供一种计算机可读存储介质，该计算机可读存储介质存储有程序数据，程序数据在被执行时，用于实现上述的数据处理方法。
11、本申请的有益效果是：区别于现有技术的情况，本专利技术提供的处理框架用于实现数据处理方法，处理框架包括数据源、操作算子以及数据汇；数据源用于基于不同的传输协议获取初始数据并发送给操作算子，初始数据包括多模态数据和结构化数据，数据源与一种数据类型的初始数据对应；操作算子用于对初始数据进行处理；数据汇用于接收操作算子处理后的数据并输出。通过上述方式，与常规的数据处理方法相比，本申请提供的处理框架可以通过基于不同的传输协议规范不同数据的输入和输出，实现对结构化数据以及多模态数据的同时采集、解析、处理以及关联分析，开发人员无需使用不同的处理方式针对不同模态的数据分别处理，提高了多模态数据处理的通用性的同时大大简化特有模态数据实时分析处理的难度，降低多模态数据实时融合分析的复杂性和操作门槛，提高了多模态数据的处理分析效率。
本文档来自技高网...【技术保护点】
1.一种多模态的处理框架，其特征在于，所述处理框架包括数据源、操作算子以及数据汇；
2.根据权利要求1所述的处理框架，其特征在于，
3.根据权利要求1所述的处理框架，其特征在于，
4.根据权利要求1所述的处理框架，其特征在于，
5.根据权利要求1所述的处理框架，其特征在于，
6.根据权利要求1所述的处理框架，其特征在于，
7.一种数据处理方法，其特征在于，所述数据处理方法包括：
8.根据权利要求7所述的数据处理方法，其特征在于，
9.一种数据处理装置，其特征在于，所述数据处理装置包括存储器以及与所述存储器耦接的处理器；
10.一种计算机存储介质，其特征在于，所述计算机存储介质用于存储程序数据，所述程序数据在被计算机执行时，用以使用如权利要求1至6任意一项所述的处理框架，实现如权利要求7至8任一项所述的数据处理方法。
【技术特征摘要】
1.一种多模态的处理框架，其特征在于，所述处理框架包括数据源、操作算子以及数据汇；
2.根据权利要求1所述的处理框架，其特征在于，
3.根据权利要求1所述的处理框架，其特征在于，
4.根据权利要求1所述的处理框架，其特征在于，
5.根据权利要求1所述的处理框架，其特征在于，
6.根据权利要求1所述的处理框架，其特征在于，
7.一种数据处理方法...
【专利技术属性】
技术研发人员：钱浩东，周明伟，刘明，江文龙，王亮，张海龙，陈立力，郑博方，
申请(专利权)人：浙江大华技术股份有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。