本申请公开了基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，包括以下步骤：步骤一，分解并确定和视觉多智能体交互的主体的客观属性；步骤二，确定交互的客观属性；步骤三，确定必要客观属性；步骤四，确定协助客观属性；步骤五，确定多视觉智能体的拍摄范围，为其构建全局空间坐标系和辅助时间坐标系；步骤六，确定该面部特征所处的空间坐标系和时间坐标系的坐标位置；步骤七，利用深度神经网络，在面部特征所处的空间坐标系和时间坐标系的坐标位置抽取人体姿态的骨关节特征点信息；步骤八，判断骨关节中心特征点的坐标位置、其他相关用户信息的坐标位置是否和面部信息的坐标位置在人为设定阈值内。
【技术实现步骤摘要】
本申请涉及图像处理，特别是涉及一种基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法。
技术介绍
1、近年来，随着物联网、计算机视觉的快速发展，基于计算机视觉的智能体已经逐渐进入了人们的视野。不论是在家庭、娱乐中的崭露头角，还是在零售、工业场景中的逐步推广，基于计算机视觉的智能体设备已经逐渐开始发挥重要作用。但是，随着在某一具体场景中基于计算机视觉的智能体设备逐渐增多，从开始的一个到两个再到多个，智能体设备的工作方式也从各自独立工作逐步向多智能体设备协同工作的方向迈进。
2、多智能体设备协同工作是一个较为复杂的任务，传统物联网模型中的多设备协同通常是将每个设备看做整体中的一部分，单个设备独立承当整体任务中的一部分，彼此之间没有任务、数据的重叠。视觉多智能体主要工作在同一个空间范围之内，并且由于不同智能体的设备属性和网络传输问题，不同的智能体数据到达服务器端的时间是不同，但是这些数据却需要协同工作。目前未有较好的解决方案。
技术实现思路
1、针对现有技术的不足，本申请提供基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法。
2、本申请解决其技术问题所采用的技术方案是：一种基于计算机视觉多智能体的用户特征配对算法。包括以下步骤：
3、步骤一、分解并确定和视觉多智能体交互的主体的客观属性；
4、本申请中，与视觉多智能体交互的主体主要以人体为主，客观属性以人体的属性为主，例如：人脸属性、人体姿态属性、手部动作、声音属性等；
>5、步骤二、为每一个视觉智能体确定一个交互的客观属性；6、本申请中的视觉多智能体主要工作在同一个空间范围之内，所以每一个视觉智能体主要用于捕捉人体的一个属性，如：正面的智能体主要捕捉用户的面部特征、上方的智能体主要捕捉用户的姿态属性等。
7、步骤三、选取包含用户信息的客观属性，定为必要客观属性；
8、由于在业务逻辑中，需要选择能够唯一表示用户身份的属性。所以，我们称这种能够唯一表示用户身份属性的客观属性为必要客观属性。如：人脸信息。
9、步骤四；选取不包含用户信息的客观属性，定为协助客观属性；
10、除了能够唯一表示用户身份的必要客观属性外，其他的人体属性定为协助客观属性。如：人体姿态、声音等信息；
11、步骤五、确定多视觉智能体的拍摄范围，为其构建全局空间坐标系和辅助时间坐标系；
12、本申请中提到的视觉多智能体主要工作在同一个空间范围之内，并且由于不同智能体的设备属性和网络传输问题，不同的智能体数据到达服务器端的时间是不同，但是这些数据却需要协同工作。所以本申请以多智能体共同工作的控件范围为基础，建立全局的坐标体系，以保证所有设备的数据能够在服务器端协同工作，消除不同设备延迟导致的数据不一致的问题。全局坐标系数据来源如附图2。
13、步骤六、利用深度神经网络，抽取用户人脸视频图像的关键特征，并确定该面部特征所处的空间坐标系和时间坐标系的坐标位置；；
14、提取到人脸特征后，计算人脸特征的锚框在全局坐标系内的四个锚框定点、锚框中心点的坐标位置。并确定提取到人脸特征信息的时间节点。
15、步骤七、利用深度神经网络，在面部特征所处的空间坐标系和时间坐标系的坐标位置抽取人体姿态的骨关节特征点信息；
16、以步骤六中获得的人脸特征信息的时间节点为时间坐标，以步骤六中获得的人脸特征信息的锚框坐标位置为人体姿态提取区域坐标，进行人体姿态特征提取。完成人体姿态特征提取后，计算各人体姿态特征点的坐标信息。
17、步骤八、判断骨关节中心特征点的坐标位置、其他相关用户信息的坐标位置是否和面部信息的坐标位置在人为设定阈值内。如在，则用户面部信息和用户人体姿态信息以及其他协助信息匹配成功
18、匹配步骤六中的人脸空间坐标和步骤七中的人体姿态和其他协助信息的空间坐标，如果这些坐标区域差别落在人为设定的阈值范围内，则认为延迟消除成功。匹配过程分解为两个方向，当匹配人脸数量和人体数量一致时，根据人脸坐标轴和人体坐标轴x方向大小顺序逐个匹配；当匹配人脸数量和人体数量不一致时，将人脸和人体坐标体系缩放至同一维度，根据人脸中心点和人体中心点距离最近时即为匹配。
19、本申请的有益效果在于：多智能体设备协同工作，侧重匹配的过程。以位置为基础，匹配同一时间范围内，出现在同一个坐标系位置的物体判别为同一个物体。物体本身以人体特征点的姿态估计的中心位置，和同一坐标系下这个中心位置的人脸检测的结果配对，表示两者为同一人，进行人脸和人体的身份识别。依靠人脸图像和行为图像中心位置，进行匹配，进而判断人体是谁。
本文档来自技高网...
【技术保护点】
1.基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤一中，与视觉多智能体交互的主体以人体为主，客观属性以人体的属性为主，包括人脸属性、人体姿态属性、手部动作、声音属性。
3.根据权利要求1所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤二中，视觉多智能体主要工作在同一个空间范围之内，以使每一个视觉智能体主要用于捕捉人体的一个属性。
4.根据权利要求3所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，正面的智能体主要捕捉用户的面部特征；上方的智能体主要捕捉用户的姿态属性。
5.根据权利要求1所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤三中，用户信息的人脸信息作为必要客观属性。
6.根据权利要求1所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤四中，人体姿态、声音作为协助客观属性。
7.根据权利要求1所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤五中，以多智能体共同工作的控件范围为基础，建立全局的坐标体系，以保证所有设备的数据能够在服务器端协同工作，消除不同设备延迟导致的数据不一致的问题。
8.根据权利要求1所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤六中，提取到人脸特征后，计算人脸特征的锚框在全局坐标系内的四个锚框定点、锚框中心点的坐标位置；并确定提取到人脸特征信息的时间节点。
9.根据权利要求8所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤七中，以步骤六中获得的人脸特征信息的时间节点为时间坐标，以步骤六中获得的人脸特征信息的锚框坐标位置为人体姿态提取区域坐标，进行人体姿态特征提取；完成人体姿态特征提取后，计算各人体姿态特征点的坐标信息。
10.根据权利要求9所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤八中，匹配步骤六中的人脸空间坐标和步骤七中的人体姿态和其他协助信息的空间坐标，如果这些坐标区域差别落在人为设定的阈值范围内，则认为延迟消除成功；匹配过程分解为两个方向，当匹配人脸数量和人体数量一致时，根据人脸坐标轴和人体坐标轴X方向大小顺序逐个匹配；当匹配人脸数量和人体数量不一致时，将人脸和人体坐标体系缩放至同一维度，根据人脸中心点和人体中心点距离最近时即为匹配。
...
【技术特征摘要】
1.基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，包括以下步骤：
2.根据权利要求1所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤一中，与视觉多智能体交互的主体以人体为主，客观属性以人体的属性为主，包括人脸属性、人体姿态属性、手部动作、声音属性。
3.根据权利要求1所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤二中，视觉多智能体主要工作在同一个空间范围之内，以使每一个视觉智能体主要用于捕捉人体的一个属性。
4.根据权利要求3所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，正面的智能体主要捕捉用户的面部特征；上方的智能体主要捕捉用户的姿态属性。
5.根据权利要求1所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤三中，用户信息的人脸信息作为必要客观属性。
6.根据权利要求1所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤四中，人体姿态、声音作为协助客观属性。
7.根据权利要求1所述的基于人体骨关节特征点的人体和人脸特征的线性坐标匹配算法，其特征在于，所述步骤五中，以多智能体共同工作的控件...
【专利技术属性】
技术研发人员：刘浙东，李金元，曾长新，李申，
申请(专利权)人：浙江云澎科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。