System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 基于消息中台的实时数据处理方法及系统技术方案_技高网

基于消息中台的实时数据处理方法及系统技术方案

技术编号:40362071 阅读:6 留言:0更新日期:2024-02-09 14:49
本公开提供了一种基于消息中台的实时数据处理方法及系统,涉及数据处理技术领域,方法包括:进行任务处理资源配置,获得多个任务配置资源链;提取第n待处理任务以及第n任务配置资源链;基于资源节点状态检测通道,结合资源链状态验证器进行状态验证,获得第n资源链状态验证算子;当为资源链状态合格时,获得第n任务激活指令;根据第n任务配置资源链执行第n待处理任务。能够解决传统的基于消息中台的数据处理方法存在数据处理资源匹配精准度较低,导致任务执行效率较低和质量较差的技术问题,可以提高数据处理资源匹配的准确性和可靠性,提高消息中台的任务处理质量和效率,保障消息中台任务处理的可靠性。

【技术实现步骤摘要】

本公开涉及数据处理,并且更具体地,涉及一种基于消息中台的实时数据处理方法及系统


技术介绍

1、消息中台是一种支持消息分发和管理的平台,通过整合各类数据处理资源,可以提供统一的数据处理、集成和管理分析能力,从而为企业提供高效、稳定的数据处理能力。

2、传统的基于消息中台的数据处理方法在进行数据处理资源分配时,由于资源匹配评估准确性和时效性较低,导致数据处理资源匹配精准度较低,从而造成待处理任务不能及时有效地进行处理,影响了消息中台任务执行的效率和质量。

3、现有的数据处理方法存在的不足之处在于:由于数据处理资源匹配精准度较低,导致消息中台的任务执行效率较低和执行质量较差。


技术实现思路

1、因此,为了解决上述技术问题,本公开的实施例采用的技术方案如下:

2、基于消息中台的实时数据处理方法,包括以下步骤:接收消息中台的多个待处理任务;获得所述消息中台的任务处理资源集,其中,所述任务处理资源集包括多个任务处理资源节点;基于所述任务处理资源集对所述多个待处理任务进行任务处理资源配置,获得所述多个待处理任务对应的多个任务配置资源链;根据所述多个待处理任务和所述多个任务配置资源链,提取第n待处理任务,以及所述第n待处理任务对应的第n任务配置资源链,其中,n为正整数,且,n属于n,n为所述多个待处理任务的总数量;基于所述多个任务处理资源节点,构建资源节点状态检测通道,其中,所述资源节点状态检测通道包括所述多个任务处理资源节点对应的多个节点状态检测域;基于所述资源节点状态检测通道,结合资源链状态验证器对所述第n任务配置资源链进行状态验证,获得第n资源链状态验证算子;当所述第n资源链状态验证算子为资源链状态合格时,获得第n任务激活指令;基于所述第n任务激活指令,根据所述第n任务配置资源链执行所述第n待处理任务。

3、基于消息中台的实时数据处理系统,包括:待处理任务接收模块,所述待处理任务接收模块用于接收消息中台的多个待处理任务;任务处理资源集获得模块,所述任务处理资源集获得模块用于获得所述消息中台的任务处理资源集,其中,所述任务处理资源集包括多个任务处理资源节点;任务处理资源配置模块,所述任务处理资源配置模块用于基于所述任务处理资源集对所述多个待处理任务进行任务处理资源配置,获得所述多个待处理任务对应的多个任务配置资源链;待处理任务提取模块,所述待处理任务提取模块用于根据所述多个待处理任务和所述多个任务配置资源链,提取第n待处理任务,以及所述第n待处理任务对应的第n任务配置资源链,其中,n为正整数,且,n属于n,n为所述多个待处理任务的总数量;状态检测通道构建模块,所述状态检测通道构建模块用于基于所述多个任务处理资源节点,构建资源节点状态检测通道,其中,所述资源节点状态检测通道包括所述多个任务处理资源节点对应的多个节点状态检测域;资源链状态验证模块,所述资源链状态验证模块用于基于所述资源节点状态检测通道,结合资源链状态验证器对所述第n任务配置资源链进行状态验证,获得第n资源链状态验证算子;任务激活指令获得模块,所述任务激活指令获得模块用于当所述第n资源链状态验证算子为资源链状态合格时,获得第n任务激活指令;待处理任务执行模块,所述待处理任务执行模块用于基于所述第n任务激活指令,根据所述第n任务配置资源链执行所述第n待处理任务。

4、由于采用了上述技术方法,本公开相对于现有技术来说,取得的技术进步有如下几点:

5、可以解决传统的基于消息中台的数据处理方法存在数据处理资源匹配精准度较低,导致消息中台的任务执行效率较低和执行质量较差的技术问题。首先,接收消息中台的多个待处理任务;并获得所述消息中台的任务处理资源集,其中,所述任务处理资源集包括多个任务处理资源节点,其中任务处理资源节点为进行任务处理时的软硬件设备;根据所述任务处理资源集对所述多个待处理任务进行任务处理资源配置,获得所述多个待处理任务对应的多个任务配置资源链;然后在所述多个待处理任务中提取第n待处理任务,以及所述第n待处理任务对应的第n任务配置资源链,其中,n为正整数,且,n属于n,n为所述多个待处理任务的总数量;基于所述多个任务处理资源节点,构建资源节点状态检测通道,其中,所述资源节点状态检测通道包括所述多个任务处理资源节点对应的多个节点状态检测域;进一步基于所述资源节点状态检测通道,结合资源链状态验证器对所述第n任务配置资源链进行状态验证,获得第n资源链状态验证算子;对所述第n资源链状态验证算子进行判断,当所述第n资源链状态验证算子为资源链状态合格时,获得第n任务激活指令;最后基于所述第n任务激活指令,根据所述第n任务配置资源链执行所述第n待处理任务。通过上述方法可以提高数据处理资源匹配的准确性和可靠性,从而提高消息中台的任务处理质量和效率,保障消息中台任务处理的可靠性。

本文档来自技高网...

【技术保护点】

1.基于消息中台的实时数据处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,基于所述任务处理资源集对所述多个待处理任务进行任务处理资源配置,获得所述多个待处理任务对应的多个任务配置资源链,包括:

3.如权利要求2所述的方法,其特征在于,对所述多个匹配任务配置资源链进行任务配置均衡验证,获得任务配置均衡验证结果,包括:

4.如权利要求3所述的方法,其特征在于,判断所述多个同类节点任务均衡度是否小于预设均衡度,包括:

5.如权利要求1所述的方法,其特征在于,基于所述多个任务处理资源节点,构建资源节点状态检测通道,包括:

6.如权利要求1所述的方法,其特征在于,基于所述资源节点状态检测通道,结合资源链状态验证器对所述第n任务配置资源链进行状态验证,获得第n资源链状态验证算子,包括:

7.如权利要求6所述的方法,其特征在于,将所述多个节点实时状态信息输入所述资源节点状态检测通道,获得多个节点状态检测系数,包括:

8.基于消息中台的实时数据处理系统,其特征在于,用于执行权利要求1-7中所述的基于消息中台的实时数据处理方法中任意一项方法的步骤,所述系统包括:

...

【技术特征摘要】

1.基于消息中台的实时数据处理方法,其特征在于,所述方法包括:

2.如权利要求1所述的方法,其特征在于,基于所述任务处理资源集对所述多个待处理任务进行任务处理资源配置,获得所述多个待处理任务对应的多个任务配置资源链,包括:

3.如权利要求2所述的方法,其特征在于,对所述多个匹配任务配置资源链进行任务配置均衡验证,获得任务配置均衡验证结果,包括:

4.如权利要求3所述的方法,其特征在于,判断所述多个同类节点任务均衡度是否小于预设均衡度,包括:

5.如权利要求1所述的方法,其特征在于,基...

【专利技术属性】
技术研发人员:李新文张静
申请(专利权)人:深圳博瑞天下科技有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1