图像采集系统、图像显示系统和图像显示交互系统技术方案

本发明专利技术提供一种图像采集系统、图像显示系统和图像显示交互系统，图像采集系统包括：多个第一图像采集装置，围绕目标物体呈球面状分布，且多个第一图像采集装置的主光轴相交于目标物体，用于采集目标物体各个不同角度的深度图像；控制器，用于获取针对立体显示器显示的目标物体的手势指令，根据所述手势指令确定所述立体显示器需要显示的目标物体的新展示侧面和对应的多个指定第一图像采集装置，采集目标物体的新展示侧面的多张不同角度的深度图像，生成目标物体的新展示侧面的多视点图像，以能够利用所述多视点图像生成目标物体的新展示侧面的三维图像。利用多路图像采集装置进行目标物体多方位的深度图像采集，提高展示效率。率。率。

【技术实现步骤摘要】
图像采集系统、图像显示系统和图像显示交互系统


[0001]本专利技术涉及图像处理
，尤其涉及一种图像采集系统、图像显示系统和图像显示交互系统。

技术介绍

[0002]目前，网络直播销售已经成为一种流行的商品销售方式，只需一个主播在摄像机前面展示和讲解物品即可。但是，这样的物品展示方式比较单一，不同用户关注的商品的方面不一样，这样的物品展示方式无法同时满足多个用户的不同需求；而且，直播留给每个商品的展示时间有限，使得用户无法及时获取物品的全面信息；同时，该样的物品展示方式只是一种2D平面的展示方式，用户与商品的互动感较弱，很难在用户心中留下深刻印象。
[0003]因此，需要一种新的物品展示方式。

技术实现思路

[0004]本专利技术的主要目的是提供一种图像采集系统、图像显示系统和图像显示交互系统，以根据手势指令生成用于展示物体的三维图像的多视点图像。
[0005]本专利技术提供一种图像采集系统，包括：多个第一图像采集装置，围绕目标物体呈球面状分布，且多个第一图像采集装置的主光轴相交于目标物体，用于采集目标物体各个不同角度的深度图像；控制器，用于获取针对立体显示器显示的当前展示侧面的目标物体的手势指令，根据手势指令确定立体显示器需要显示的目标物体的新展示侧面，在多个第一图像采集装置中确定出新展示侧面对应的多个指定第一图像采集装置，并控制多个指定第一图像采集装置采集目标物体的新展示侧面的多张不同角度的深度图像，以及利用多张不同角度的深度图像生成目标物体的新展示侧面的多视点图像，以能够利用多视点图像生成目标物体的新展示侧面的三维图像。
[0006]在一实施例中，第一图像采集装置的数量不少于四个。
[0007]在一实施例中，控制器还用于：根据手势指令确定目标物体的位姿变换矩阵；基于立体显示器显示的目标物体的当前展示侧面，根据位姿变换矩阵确定立体显示器需要显示的目标物体的新展示侧面以及新展示侧面对应的多个指定第一图像采集装置。
[0008]在一实施例中，控制器还用于：对于多张不同角度的深度图像，利用MVS网络确定每张深度图像的深度信息；利用训练好的多视点图像神经网络模型，根据多张不同角度的深度图像的二维图像和深度信息生成目标物体的新展示侧面的多视点图像。
[0009]本专利技术提供一种图像显示系统，包括：立体显示器，用于显示目标物体的不同展示侧面的三维图像；第二图像采集装置，用于采集手部动作的连续多帧深度图像，其中，手部动作作用于三维图像中当前展示侧面的目标物体；处理器，用于识别每帧深度图像中的手部动作，并根据连续多帧深度图像中的手部动作确定针对三维图像中当前展示侧面的目标物体的手势指令，以及接收基于手势指令生成的目标物体的新展示侧面的多视点图像，利用多视点图像生成目标物体新展示侧面的三维图像，并控制立体显示器显示目标物体的新
展示侧面的三维图像。
[0010]在一实施例中，处理器还用于：针对每帧深度图像，依次进行灰度化处理和二值化处理，对二值化处理后得到的图像利用凸包检测确定手部位置；基于手部位置，提取手部特征，并将手部特征与手部动作集合中每个预设手部动作的手部特征进行匹配，根据匹配结果确定该帧深度图像中的手部动作；在连续多帧深度图像中的手部动作相同的情况下，根据连续多帧深度图像中的手部动作确定手势轨迹，根据手势轨迹确定针对三维图像中当前展示侧面的目标物体的手势指令。
[0011]在一实施例中，处理器还用于：基于手部位置，利用多尺度模型提取多个手部特征点，其中，手部特征点包括指尖特征点和掌心特征点；将各个指尖特征点与掌心特征点依次连线，将各个指尖特征点与掌心之间的距离和各个连线之间的夹角作为手部特征。
[0012]在一实施例中，手势指令包括：平移、旋转和/或缩放。
[0013]在一实施例中，处理器还用于：判断手部与三维图像中当前展示侧面的目标物体是否接触，在手部与三维图像中当前展示侧面的目标物体相接触的情况下，再根据连续多帧深度图像识别针对三维图像中当前展示侧面的目标物体的手势指令。
[0014]在一实施例中，处理器还用于：获取三维图像中当前展示侧面的目标物体的中心位置坐标和目标物体表面各个点的三维坐标；确定手部与三维图像中目标物体表面各个点的切面之间的最短距离；确定最短距离对应的目标物体表面的点与中心位置之间的第一距离，以及手部与中心位置之间的第二距离，比较第一距离和第二距离，在第二距离小于或等于第一距离的情况下，判定手部与三维图像中当前展示侧面的目标物体相接触。
[0015]本专利技术提供一种图像显示交互系统，其特征在于，包括上述的图像采集系统以及上述的图像显示系统。
[0016]通过本专利技术所提供的系统，利用手势识别进行手势指令的捕捉，利用多路图像采集装置进行目标物体多方位的深度图像采集，支持不同用户的同时操作，大大提高了目标物体的展示效率。
附图说明
[0017]构成本申请的一部分的说明书附图用来提供对本专利技术的进一步理解，本专利技术的示意性实施例及其说明用于解释本专利技术，并不构成对本专利技术的不当限定，在附图中：
[0018]图1为根据本申请一实施方式的图像显示交互系统的结构示意图；
[0019]图2为根据本申请一实施例的多个第一图像采集装置的分布示意图；
[0020]图3为根据本申请一实施例的目标物体的不同展示侧面对应不同的第一图像采集装置的示意图；
[0021]图4为根据本申请一实施例的生成多视点图像的图像处理过程示意图；
[0022]图5为根据本申请一实施例的识别手势指令的方法流程图；
[0023]图6为根据本申请一实施例的各指尖与掌心依次连线的示意图；
[0024]图7为相关技术中在屏幕上显示三维图像的示意图；
[0025]图8为根据本申请一实施例的利用多视点图像生成三维图像的示意图；
[0026]图9为相关技术中柱状透镜屏幕显示三维图像的原理图。
具体实施方式
[0027]需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互组合。下面将参考附图并结合实施例来详细说明本专利技术。
[0028]参考图1，本实施例提供一种图像显示交互系统300，包括图像采集系统100和图像显示系统200。
[0029]参考图1，图像采集系统100可以包括：多个第一图像采集装置110，围绕目标物体呈球面状分布，且多个第一图像采集装置110的主光轴相交于目标物体，用于采集目标物体各个不同角度的深度图像；控制器120，用于获取针对立体显示器显示的当前展示侧面的目标物体的手势指令，根据手势指令确定立体显示器需要显示的目标物体的新展示侧面，在多个第一图像采集装置中确定出新展示侧面对应的多个指定第一图像采集装置，并控制多个指定第一图像采集装置采集目标物体的新展示侧面的多张不同角度的深度图像，并利用多张不同角度的深度图像生成目标物体的新展示侧面的多视点图像，以能够利用多视点图像生成目标物体的新展示侧面的三维图像。
[0030]第一图像本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像采集系统，其特征在于，包括：多个第一图像采集装置，围绕目标物体呈球面状分布，且多个第一图像采集装置的主光轴相交于目标物体，用于采集目标物体各个不同角度的深度图像；控制器，用于获取针对立体显示器显示的当前展示侧面的目标物体的手势指令，根据所述手势指令确定所述立体显示器需要显示的目标物体的新展示侧面，在所述多个第一图像采集装置中确定出所述新展示侧面对应的多个指定第一图像采集装置，并控制所述多个指定第一图像采集装置采集目标物体的新展示侧面的多张不同角度的深度图像，以及利用所述多张不同角度的深度图像生成目标物体的新展示侧面的多视点图像，以能够利用所述多视点图像生成目标物体的新展示侧面的三维图像。2.根据权利要求1所述的图像采集系统，其特征在于，所述第一图像采集装置的数量不少于四个。3.根据权利要求1所述的图像采集系统，其特征在于，所述控制器还用于：根据所述手势指令确定目标物体的位姿变换矩阵；基于所述立体显示器显示的目标物体的当前展示侧面，根据所述位姿变换矩阵确定所述立体显示器需要显示的目标物体的新展示侧面以及所述新展示侧面对应的多个指定第一图像采集装置。4.根据权利要求1所述的图像采集系统，其特征在于，所述控制器还用于：对于所述多张不同角度的深度图像，利用MVS网络确定每张深度图像的深度信息；利用训练好的多视点图像神经网络模型，根据所述多张不同角度的深度图像的二维图像和深度信息生成目标物体的新展示侧面的多视点图像。5.一种图像显示系统，其特征在于，包括：立体显示器，用于显示目标物体的不同展示侧面的三维图像；第二图像采集装置，用于采集手部动作的连续多帧深度图像，其中，所述手部动作作用于所述三维图像中当前展示侧面的目标物体；处理器，用于识别每帧深度图像中的手部动作，并根据所述连续多帧深度图像中的手部动作确定针对所述三维图像中当前展示侧面的目标物体的手势指令，以及接收基于所述手势指令生成的目标物体的新展示侧面的多视点图像，利用所述多视点图像生成目标物体新展示侧面的三维图像，并控制所述立体显示器显示目标物体的...

【专利技术属性】
技术研发人员：李治富，苗京花，李文宇，
申请(专利权)人：北京京东方显示技术有限公司北京京东方技术开发有限公司，
类型：发明
国别省市：