分布式数据处理方法和装置制造方法及图纸

技术编号:41989854 阅读:24 留言:0更新日期:2024-07-12 12:17
本发明专利技术涉及一种分布式数据处理方法和装置,该方法包括:流水线创建过程,流水线创建过程包括:创建数据处理节点和检查节点,每个数据处理节点负责单一任务,检查节点是对数据处理节点输出的数据和流水线中的流程进行检查的节点;根据流程配置文件,选取数据处理节点组成用于实现数据处理服务的流水线的主线;以及由检查节点创建检查支流来补充流水线,检查支流包括数据检查支流以及流程检查支流。通过该分布式数据处理方法和装置,能够提高数据处理效率。

【技术实现步骤摘要】

本申请涉及信息,尤其是涉及一种分布式数据处理方法和装置


技术介绍

1、在海关、民航等安检领域,通常使用二维图像作为安全检查流程的依据。如x光机安全检查系统,计算机断层扫描(computed tomography,ct)成像系统等。通常在这些系统中,业务流转依据的数据来源单一,例如均为二维图像,因此业务流程也相对简单,业务流程产生的中间数据和终端数据也比较少。

2、然而,随着安全检查需求日益复杂,安检对象数据量增大,并且随着安检技术的发展,对安检业务流程的数据来源提出了更多的要求。例如,为了提高安检效率和通过率,对航空货物进行整箱扫描(例如,q6:3.18m*2.44m*2.44m,q7:3.18m*2.44m*2.99m),对于这种全新的业务场景,安全检查流程需要三维图像和多角度二维图像相结合作为业务流转的依据,而且自动识别服务也会输出二维和三维的嫌疑物数据,在人工检查过程中,还会产生人工标注的二维和三维嫌疑物数据,还有对嫌疑物进行拍照取证等产生的一系列业务数据。这样大量的数据需要在安检系统的内部进行压缩、传输、存储,从而给安检系统带来巨大的本文档来自技高网...

【技术保护点】

1.一种分布式数据处理方法,包括:

2.如权利要求1所述的分布式数据处理方法,还包括:

3.如权利要求2所述的分布式数据处理方法,其中,

4.如权利要求3所述的分布式数据处理方法,其中,

5.如权利要求2所述的分布式数据处理方法,其中,

6.如权利要求2所述的分布式数据处理方法,还包括:

7.如权利要求2所述的分布式数据处理方法,还包括:

8.如权利要求7所述的分布式数据处理方法,其中,

9.如权利要求2所述的分布式数据处理方法,其中,

10.一种分布式数据处理装置,包括:

...

【技术特征摘要】

1.一种分布式数据处理方法,包括:

2.如权利要求1所述的分布式数据处理方法,还包括:

3.如权利要求2所述的分布式数据处理方法,其中,

4.如权利要求3所述的分布式数据处理方法,其中,

5.如权利要求2所述的分布式数据处理方法,其中,

6.如权利要求2所述的分布式数据处理方法,还包括:

7.如权利要求2所述的分布式数据处理方法,还包括:

8.如权利要求7所述的分布式数据处理方法,其中,

9.如权利要求2所述的分布式数据处理方法,其中,

10.一种分布式数据处理装置,包括:

11.如权利...

【专利技术属性】
技术研发人员:张丽李元景黄清萍徐建平任乾鲁王潜力陈宇高阳徐洋贞
申请(专利权)人:同方威视科技江苏有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1