视觉数据处理设备及视觉数据处理方法技术

本公开提供了一种视觉数据处理设备及视觉数据处理方法，涉及人工智能技术领域，尤其涉及增强现实、虚拟现实、计算机视觉和深度学习技术领域，可应用于元宇宙、计算机视觉和虚拟数字人等场景。具体实现方案为：多个视觉传感器，配置为响应于检测到同步采集指令，根据同步采集指令，采集同一时刻的目标对象的视觉数据，得到与多个视觉传感器对应的视觉数据，多个视觉传感器的视角范围彼此不同；主处理器，通过第一数据线与多个视觉传感器连接，配置为响应于接收到来自多个视觉传感器的视觉数据，对多个视觉数据进行处理，得到目标对象的位姿数据；主电源，通过第一电源线与多个视觉传感器和主处理器连接，配置为向多个视觉传感器和主处理器供电。感器和主处理器供电。感器和主处理器供电。

【技术实现步骤摘要】
视觉数据处理设备及视觉数据处理方法


[0001]本公开涉及人工智能
，尤其涉及增强现实、虚拟现实、计算机视觉和深度学习等
，可应用于元宇宙、计算机视觉和虚拟数字人等场景。具体地，涉及一种视觉数据处理设备及视觉数据处理方法。

技术介绍

[0002]随着人工智能技术的发展，计算机视觉技术得到了广泛应用。计算机视觉技术可以是指利用图像采集装置对目标物体进行识别、跟踪和测量，并利用计算机进行图像处理，以得到更为适合人眼观察或设备检测的图像的技术。

技术实现思路

[0003]本公开提供了一种视觉数据处理设备及视觉数据处理方法。
[0004]根据本公开的一方面，提供了一种视觉数据处理设备，包括：多个视觉传感器，配置为响应于检测到同步采集指令，根据上述同步采集指令，采集同一时刻的目标对象的视觉数据，得到与上述多个视觉传感器对应的视觉数据，其中，上述多个视觉传感器的视角范围彼此不同；主处理器，通过第一数据线与上述多个视觉传感器连接，配置为响应于接收到来自上述多个视觉传感器的视觉数据，对多个上述视觉数据进行处理，得到上述目标对本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种视觉数据处理设备，包括：多个视觉传感器，配置为响应于检测到同步采集指令，根据所述同步采集指令，采集同一时刻的目标对象的视觉数据，得到与所述多个视觉传感器对应的视觉数据，其中，所述多个视觉传感器的视角范围彼此不同；主处理器，通过第一数据线与所述多个视觉传感器连接，配置为响应于接收到来自所述多个视觉传感器的视觉数据，对多个所述视觉数据进行处理，得到所述目标对象的位姿数据；以及主电源，通过第一电源线与所述多个视觉传感器和所述主处理器连接，配置为向所述多个视觉传感器和所述主处理器供电。2.根据权利要求1所述的设备，其中，所述多个视觉传感器通过同步线连接。3.根据权利要求2所述的设备，其中，所述多个视觉传感器包括主视觉传感器和至少一个辅助视觉传感器；所述主视觉传感器，配置为响应于检测到启动指令，生成所述同步采集指令；以及所述至少一个辅助视觉传感器，配置为响应于接收到来自所述主视觉传感器的同步采集指令。4.根据权利要求1～3中任一项所述的设备，还包括：辅助电源，通过第二电源线与所述第一数据线连接，配置为向所述第一数据线供电。5.根据权利要求1～4中任一项所述的设备，还包括：多个第一辅助处理器，通过第二数据线与所述多个视觉传感器连接，配置为响应于接收到来自所述多个视觉传感器的原始视觉数据，对多个所述原始视觉数据进行处理，得到多个所述视觉数据，其中，所述第一辅助处理器和所述视觉传感器一一对应；以及所述主处理器，通过第三数据线与所述多个第一辅助处理器连接，配置为响应于接收到来自所述多个第一辅助处理器的视觉数据。6.根据权利要求1～4中任一项所述的设备，还包括：第二辅助处理器，通过第四数据线与所述多个视觉传感器连接，配置为响应于接收到来自所述多个视觉传感器的原始视觉数据，对多个所述原始视觉数据进行处理，得到多个所述视觉数据；以及所述主处理器，通过第五数据线与所述第二辅助处理器连接，配置为响应于接收到来自所述第二辅助处理器的视觉数据。7.根据权利要求1～4中任一项所述的设备，其中，所述视觉传感器，包括：采集单元，配置为响应于检测到所述同步采集指令，根据所述同步采集指令，采集同一时刻的所述目标对象的视觉数据，得到与所述视觉传感器对应的原始视觉数据；以及处理单元，配置为对所述原始视觉数据进行处理，得到与所述视觉传感器对应的视觉数据。8.根据权利要求1～7中任一项所述的设备，其中，所述主电源为移动式电源。9.根据权利要求4所述的设备，其中，所述辅助电源为移动式电源。10.根据权利要求1～9中任一项所述的设备，其中，所述主处理器，配置为对多个所述视觉数据进行关键点检测，得到多个关键点集合，以及根据所述多个关键点集合，确定所述目标对象的位姿数据。
11.根据权利要求10所述的设备，其中，所述主处理器，配置为对多个所述视觉数据进行特征提取，得到与多个所述视觉数据各自对应的至少一个尺度的关键点特征图，以及根据与多个所述视觉数据各自对应的至少一个尺度的关键点特征图，得到所述多个关键点集合。12.根据权利要求11所述的设备，其中，所述主处理器，配置为对所述视觉数据进行U个阶段的特征提取，得到与第U阶段对应的至少一个关键点特征图，以及根据与所述第U阶段对应的至少一个关键点特征图，得到与所述视觉数据对应的至少一个尺度的关键点特征图；其中，第u阶段具有T
u
个并联层级，同一并联层级的关键点特征图的图像分辨率相同，不同并联层级的关键点特征图的图像分辨率不同；其中，U是大于1或等于1的整数，u是大于或等于1且小于或等于U的整数，T
u
是大于或等于1的整数。13.根据权利要求12所述的设备，其中，在U是大于1的整数的情况下，所述主处理器，配置为对与第u
‑
1阶段对应的至少一个关键点特征图进行卷积处理，得到与第u阶段对应的至少一个中间关键点特征图，以及对与所述第u阶段对应的至少一个中间关键点特征图进行特征融合，得到与第u阶段对应的至少一个关键点特征图；其中，u是大于1且小于或等于U的整数。14.根据权利要求13所述的设备，其中，所述主处理器，配置为针对所述T
u
个并联层级中的第i个并联层级，根据与所述第i个并联层级对应的其他中间关键点特征图和与所述第i个并联层级对应的中间关键点特征图，得到与所述第i个并联层级对应的关键点特征图；其中，与所述第i个并联层级对应的其他中间关键点特征图是与所述T
u
个并联层级中除所述第i个并联层级以外的至少部分并联层级对应的中间关键点特征图，i是大于或等于1且小于或等于T
u
的整数。15.根据权利要求1～14中任一项所述的设备，其中，所述主处理器，还配置为利用自接触检测模型处理多个所述视觉数据，得到接触检测信息，以及根据所述接触检测信息对所述位姿数据进行优化；其中，所述自接触检测模型是利用样本视觉数据和所述样本视觉数据的样本接触标签信息训练深度学习模型得到的。16.一种视觉数据处理方法，包括：多个视觉传感器响应于检测到同步采集指令，根据所述同步采集指令，采集同一时刻的目标对象的视觉数据，得到与所述多个视觉传感器对应的视觉数据，其中，所述多个视觉传感器的视角范围彼此不同；以及主处理器响应于通过第一数据线接收到来自所述多个视觉传感器的视觉数据，对多个所述视觉数据进行处理，得到所述目标对象的位姿数据；其中，主电源通过第一电源线向所述多个视觉传感器和所述主处理器供电。17.根据权利要求16所述的方法，其中，所述多个视觉传感器通过同步线连接。18.根据权利要求16或17...

【专利技术属性】
技术研发人员：彭昊天，冯志强，杨黔生，陈睿智，赵晨，
申请(专利权)人：北京百度网讯科技有限公司，
类型：发明
国别省市：