【技术实现步骤摘要】
本专利技术涉及实时数据质量检测,具体而言,涉及一种基于复杂矩阵的分布式实时数据质量检测方法及系统。
技术介绍
1、在实时计算领域,数据质量检测技术不成熟,导致算法和运营在做实时策略的时候需要做大量的兜底策略。该检测技术在车货匹配算法和相关运营场景中具有的重要作用,车货匹配算法依赖于准确和实时的数据,包括货物信息、车辆位置、运输时效等。该专利提供了实时数据质量检测的方法,确保用于车货匹配的数据流是高质量、可靠的,从而提升匹配算法的准确性和可信度。
2、现有技术提到了:现有技术1:cn113901035a基于flink的实时数据质量检测方法及系统,具体如下:配置质量检测规则;配置flink窗口配置;选择待检测的数据源、数据表及待检测字段,并为待检测字段配置相应的检测规则;将待检测数据源与检测规则以及flink窗口配置完成后,形成一条任务,并将该任务发送到任务调度中心进行统一调度;调度中心管理并调度质量检测任务,任务被触发后调用flink数据处理模块执行实际的数据质量检测。该系统包括规则定制模块、任务配置模块、任务调度模块、fli
...【技术保护点】
1.一种基于复杂矩阵的分布式实时数据质量检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述一种基于复杂矩阵的分布式实时数据质量检测方法,其特征在于:
3.根据权利要求2所述一种基于复杂矩阵的分布式实时数据质量检测方法,其特征在于:
4.根据权利要求3所述一种基于复杂矩阵的分布式实时数据质量检测方法,其特征在于:
5.根据权利要求4所述一种基于复杂矩阵的分布式实时数据质量检测方法,其特征在于:
6.根据权利要求5所述一种基于复杂矩阵的分布式实时数据质量检测方法,其特征在于:
7.根据权利要
...【技术特征摘要】
1.一种基于复杂矩阵的分布式实时数据质量检测方法,其特征在于,包括以下步骤:
2.根据权利要求1所述一种基于复杂矩阵的分布式实时数据质量检测方法,其特征在于:
3.根据权利要求2所述一种基于复杂矩阵的分布式实时数据质量检测方法,其特征在于:
4.根据权利要求3所述一种基于复杂矩阵的分布式实时数据质量检测方法,其特征在于:
5.根据权利要求4所述一种基于复杂矩阵的分布式实时数据质量检测方法,其特征在于:
【专利技术属性】
技术研发人员:欧锐,宫学谦,
申请(专利权)人:江苏运满满信息科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。