手势交互系统、方法、VR/AR设备及存储介质技术方案

本申请公开了一种手势交互系统、方法、VR/AR设备及存储介质，属于人工智能领域。该系统包括多个图像传感器、多个DSP、MCU和上位机；其中，每个图像传感器分别与一个DSP电性相连；多个DSP均与MCU电性相连，上位机与MCU电性相连。该多个图像传感器用于分别对手势交互区域进行手部图像采集，并将采集到的图像数据发送给与其相连的DSP；DSP用于对接收到的图像数据进行手势识别，得到当前时刻的手势识别结果，并将手势识别结果发送给MCU；MCU用于对接收到的多个手势识别结果进行融合；最终，上位机根据融合后的手势识别结果，渲染下一时刻应呈现的交互内容。该系统能够有效缓解手势交互时存在的延迟和卡顿现象。的延迟和卡顿现象。的延迟和卡顿现象。

【技术实现步骤摘要】
手势交互系统、方法、VR/AR设备及存储介质


[0001]本申请涉及人工智能领域，特别涉及一种手势交互系统、方法、VR/AR设备及存储介质。

技术介绍

[0002]手势交互是人类日常交流中最直观的一种基于视觉的信息交互手段。时下随着人工智能技术的快速发展，手势交互也已经渗透到人工智能领域。
[0003]在人工智能领域中，虚拟现实(Virtual Reality，VR)/增强现实(Augmented Reality，AR)设备中的上位机获取图像传感器采集的手部图像，进而利用手势识别算法获取手势类别以及手势交互点三维坐标；之后，根据获取的手势类别、手势交互点与虚拟空间中交互内容的空间位置关系，来判断用户的交互意图。
[0004]然而，一方面由于VR/AR设备中的上位机通常需要占用大量运算资源用于交互内容的渲染，另一方面由于图像传感器向上位机传输图像数据也存在一定延迟，所以目前的手势交互方式延迟较高，甚至可能出现卡顿现象，这会大大影响用户的交互体验效果。

技术实现思路

[0005]本申请实施例提供了一种手势交互系统、方法、VR/AR设备及存储介质，能够有效缓解手势交互时存在的延迟和卡顿现象，大大提高了用户的交互体验效果。所述技术方案如下：
[0006]一方面，提供了一种手势交互系统，所述手势交互系统包括：多个图像传感器、多个数字信号处理器(Digital Signal Processing，DSP)、微控制单元(Microcontroller Unit，MCU)和上位机；
[0007]其中，所述多个图像传感器中的每个图像传感器分别与一个DSP电性相连；所述多个DSP均与所述MCU电性相连，所述上位机与所述MCU电性相连；
[0008]所述多个图像传感器，用于分别对手势交互区域进行手部图像采集，并将采集到的图像数据发送给与其相连的DSP；
[0009]所述多个DSP，用于分别对接收到的图像数据进行手势识别，得到当前时刻的手势识别结果，并将所述手势识别结果发送给所述MCU；
[0010]所述MCU，用于对接收到的多个手势识别结果进行融合，得到融合后的手势识别结果；
[0011]所述上位机，用于根据所述融合后的手势识别结果，渲染下一时刻应呈现的交互内容。
[0012]可选地，所述图像数据包括灰度图和深度图；所述多个DSP，用于分别执行：将所述灰度图转换为二值图像；
[0013]对于所述二值图像中的任一个像素点，响应于所述像素点的像素值为最小值，将所述像素点的像素值存储为占用一个比特位的第一数值；
[0014]响应于所述像素点的像素值为最大值，将所述像素点的像素值存储为占用一个比特位的第二数值；
[0015]对采用新存储形式存储的二值图像依次执行形态学操作和轮廓检测，得到手部区域轮廓；
[0016]根据所述手部区域轮廓定位掌心，并根据掌心定位结果确定手势类别；
[0017]定位手势交互点二维坐标；根据所述深度图和所述手势交互点二维坐标，获取手势交互点三维坐标。
[0018]可选地，所述形态学操作为图像腐蚀操作，所述腐蚀操作的核为N*N矩阵；其中，N＝2a+1，a的取值不小于1；
[0019]所述多个DSP，用于分别执行：
[0020]对于所述二值图像中第i行的第j个字节，获取所述二值图像中第i+m行的第j个字节，得到多个原始字节；其中，所述第j个字节由连续多个像素点的像素值组成；m为整数，m的取值为{a,...,2,1,0,
‑
1,
‑
2,...,
‑
a}；i和j均为正整数；
[0021]分别对所述多个原始字节执行n位的位移操作，得到多个位移后字节；
[0022]其中，n为整数，n的取值为{a,...,
‑
2,
‑
1,0,1,2,...,a}；响应于n>0，表示右移n位；响应于n<0，表示左移
‑
n位；响应于n＝0，表示不进行位移；
[0023]对所述多个原始字节和所述多个位移后字节进行按位与操作，得到腐蚀图像中第i行第j个字节所代表的连续多个像素点的像素值。
[0024]可选地，所述多个DSP，用于分别执行：
[0025]响应于所述第j个字节为所述第i行的非首字节，通过按位或操作，分别为左移后形成的空位补前一字节的最高位；
[0026]响应于所述第j个字节为所述第i行的非尾字节，通过按位或操作，分别为右移后形成的空位补后一字节的最低位。
[0027]可选地，所述多个DSP，用于分别执行：
[0028]对于经过形态学操作后的图像中的第j行，将所述第j行中连续多个像素点的像素值组成待处理字节；其中，j为正整数；
[0029]对所述待处理字节执行左移一位的位移操作，得到第一中间字节；
[0030]对所述第一中间字节执行按位取反操作，得到第二中间字节；
[0031]将所述待处理字节和所述第二中间字节进行按位与操作，得到目标字节；
[0032]将所述目标字节中指定比特位对应的像素点，作为所述连续多个像素点中的边界起点；其中，所述指定比特位为首个取值为第二数值的比特位；
[0033]根据确定的边界起点，获取所述手部区域轮廓。
[0034]可选地，所述多个DSP，用于分别执行：
[0035]响应于所述待处理字节为所述第j行的非首字节，通过按位或操作，为左移后形成的空位补前一字节的最高位，得到所述第一中间字节；
[0036]响应于所述待处理字节为所述第j行的非尾字节，通过按位或操作，为右移后形成的空位补后一字节的最低位，得到所述第一中间字节。
[0037]可选地，所述多个DSP，用于分别执行：
[0038]根据所述手部区域轮廓，确定初始掌心位置；
[0039]根据所述初始掌心位置和所述手部区域轮廓上的目标位置，确定所述初始掌心位置到所述手部区域轮廓的距离求解表达式；其中，所述目标位置为所述手部区域轮廓上距离所述初始掌心位置最近的位置；
[0040]分别在水平方向和竖直方向上对所述距离求解表达式求取偏导数；
[0041]以梯度上升法作为指导，根据得到的求导结果确定所述初始掌心位置的坐标求解表达式；
[0042]重复执行上述确定距离求解表达式、求取偏导数和确定坐标求解表达式的步骤，直至得到的距离最大值连续多个周期保持一致；
[0043]响应于所述距离最大值大于手掌最小宽度，将所述距离最大值对应的掌心位置坐标，作为所述掌心定位结果。
[0044]可选地，所述多个DSP，用于分别执行：
[0045]获取所述手部区域轮廓的最小外接矩形；
[0046]根据所述最小外接矩形的宽度，确定所述手掌最小宽度；
[0047]按照从上至下的顺序遍历手部区域的每一行，确定每一行中最长连续前景点的长度、起点像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种手势交互系统，其特征在于，所述手势交互系统包括：多个图像传感器、多个数字信号处理器DSP、微控制单元MCU和上位机；其中，所述多个图像传感器中的每个图像传感器分别与一个DSP电性相连；所述多个DSP均与所述MCU电性相连，所述上位机与所述MCU电性相连；所述多个图像传感器，用于分别对手势交互区域进行手部图像采集，并将采集到的图像数据发送给与其相连的DSP；所述多个DSP，用于分别对接收到的图像数据进行手势识别，得到当前时刻的手势识别结果，并将所述手势识别结果发送给所述MCU；所述MCU，用于对接收到的多个手势识别结果进行融合，得到融合后的手势识别结果；所述上位机，用于根据所述融合后的手势识别结果，渲染下一时刻应呈现的交互内容。2.根据权利要求1所述的系统，其特征在于，所述图像数据包括灰度图和深度图；所述多个DSP，用于分别执行：将所述灰度图转换为二值图像；对于所述二值图像中的任一个像素点，响应于所述像素点的像素值为最小值，将所述像素点的像素值存储为占用一个比特位的第一数值；响应于所述像素点的像素值为最大值，将所述像素点的像素值存储为占用一个比特位的第二数值；对采用新存储形式存储的二值图像依次执行形态学操作和轮廓检测，得到手部区域轮廓；根据所述手部区域轮廓定位掌心，并根据掌心定位结果确定手势类别；定位手势交互点二维坐标；根据所述深度图和所述手势交互点二维坐标，获取手势交互点三维坐标。3.根据权利要求2所述的系统，其特征在于，所述形态学操作为图像腐蚀操作，所述腐蚀操作的核为N*N矩阵；其中，N＝2a+1，a的取值不小于1；所述多个DSP，用于分别执行：对于所述二值图像中第i行的第j个字节，获取所述二值图像中第i+m行的第j个字节，得到多个原始字节；其中，所述第j个字节由连续多个像素点的像素值组成；m为整数，m的取值为{a,...,2,1,0,
‑
1,
‑
2,...,
‑
a}；i和j均为正整数；分别对所述多个原始字节执行n位的位移操作，得到多个位移后字节；其中，n为整数，n的取值为{a,...,
‑
2,
‑
1,0,1,2,...,a}；响应于n>0，表示右移n位；响应于n<0，表示左移
‑
n位；响应于n＝0，表示不进行位移；对所述多个原始字节和所述多个位移后字节进行按位与操作，得到腐蚀图像中第i行第j个字节所代表的连续多个像素点的像素值。4.根据权利要求3所述的系统，其特征在于，所述多个DSP，用于分别执行：响应于所述第j个字节为所述第i行的非首字节，通过按位或操作，分别为左移后形成的空位补前一字节的最高位；响应于所述第j个字节为所述第i行的非尾字节，通过按位或操作，分别为右移后形成的空位补后一字节的最低位。5.根据权利要求2所述的系统，其特征在于，所述多个DSP，用于分别执行：
对于经过形态学操作后的图像中的第j行，将所述第j行中连续多个像素点的像素值组成待处理字节；其中，j为正整数；对所述待处理字节执行左移一位的位移操作，得到第一中间字节；对所述第一中间字节执行按位取反操作，得到第二中间字节；将所述待处理字节和所述第二中间字节进行按位与操作，得到目标字节；将所述目标字节中指定比特位对应的像素点，作为所述连续多个像素点中的边界起点；其中，所述指定比特位为首个取值为第二数值的比特位；根据确定的边界起点，获取所述手部区域轮廓。6.根据权利要求5所述的系统，其特征在于，所述多个DSP，用于分别执行：响应于所述待处理字节为所述第j行的非首字节，通过按位或操作，为左移后形成的空位补前一字节的最高位，得到所述第一中间字节；响应于所述待处理字节为所述第j行的非尾字节，通过按位或操作，为右移后形成的空位补后一字节的最低位，得到所述第一中间字节。7.根据权利要求2所述的系统，其特征在于，所述多个DSP，用于分别执行：根据所述手部区域轮廓，确定初始掌心位置；根据所述初始掌心位置和所述手部区域轮廓上的目标位置，确定所述初始掌心位置到所述手部区域轮廓的距离求解表达式...

【专利技术属性】
技术研发人员：马思研，张浩，吕耀宇，李言，郭浩飞，
申请(专利权)人：京东方科技集团股份有限公司，
类型：发明
国别省市：