基于VR或AR的图像数据处理方法、设备和安检系统技术方案

公开了一种基于VR或AR的图像数据处理方法、设备和安检系统。在一实施例中，一种图像数据处理方法包括：基于针对内部容纳有物体的容器的三维扫描数据，重建容器及其容纳的物体的三维图像；立体显示重建的三维图像；基于用户的定位信息和动作信息确定针对容器中至少一件物体的操纵信息；基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像；以及在所显示的三维图像上展示重新重建的所述至少一件物体。

Image data processing method, equipment and security inspection system based on VR or AR

An image data processing method, equipment and security check system based on VR or AR are disclosed. In one embodiment, an image data processing method consists of reconstructing the three-dimensional image of the container and its accommodating object based on the three-dimensional scanning data of the container holding an object inside; stereoscopic display of the reconstructed 3D image; and determining at least one object in the container based on the user's location information and action information. Manipulation information; at least reconstructing the three-dimensional image of the at least one object based on the determined manipulation information; and showing at least one of the at least one object rebuilt on the displayed 3D image.

【技术实现步骤摘要】
基于VR或AR的图像数据处理方法、设备和安检系统
本专利技术涉及安检
，尤其涉及一种基于虚拟现实(VR)或增强现实(AR)技术的图像数据处理设备和安检系统。
技术介绍
随着集装箱运输业务的快速发展，越来越多货物通过集装箱进行装卸和运输。而由于集装箱内货物的隐蔽性，给托运人瞒报危险品和走私品带来了可乘之机。虽然类似X射线透射系统的检查手段给集装箱的安全运输工作带来了很大便利，但仅靠看图员的经验获取货物信息工作量大，易疲劳。另一方面，实际检查时仍有一定比例的集装箱要求开箱检查，而集装箱的开箱检查存在诸多困难。例如，集装箱常用于运输大型物体，开箱检查搬运过程复杂且危险。又如，集装箱内货物排列较紧密，开箱检查完成后再装箱存在一定困难。再如，开箱检查手续复杂，耗时长，延长了货运时间。此外，对于瞒报危险品的集装箱，直接现场开箱检查，还威胁着检查员的人身安全。
技术实现思路
本公开的目的至少部分地在于提供一种基于虚拟现实(VirtualReality，VR)或增强现实(AugmentedReality，AR)技术的图像数据处理方法、设备和安检系统。根据本公开的一个方面，提供了一种图像数据处理方法，包括：基于针对内部容纳有物体的容器的三维扫描数据，重建容器及其容纳的物体的三维图像；立体显示重建的三维图像；基于用户的定位信息和动作信息确定针对容器中至少一件物体的操纵信息；基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像；以及在所显示的三维图像上展示重新重建的所述至少一件物体。根据本公开的另一方面，提供了一种图像数据处理设备，包括：通信接口，配置为接收内部容纳有物体的容器的三维扫描数据；以及处理器，配置为基于接收到的三维扫描数据，重建容器及其容纳的物体的三维图像以便显示；其中，通信接口还配置为接收用户的定位信息和动作信息，处理器还配置为基于接收到的定位信息和动作信息确定针对容器中至少一件物体的操纵信息，并基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像。根据本公开的再一方面，提供了一种安检系统，包括：三维扫描设备，配置为对内部容纳有物体的容器进行三维扫描，以生成三维扫描数据；位置跟踪设备，配置为定位用户的位置，以便提供用户的定位信息；运动跟踪设备，配置为确定用户的运动，以便提供用户的动作信息；如权利要求7-12中任一项所述的图像数据处理设备；以及立体显示器，配置为显示重建的三维图像。根据本公开的又一方面，提供了一种计算机可读记录介质，其上存储有可执行指令，所述指令在由一个或多个处理器执行时，使所述一个或多个处理器执行以下操作：基于针对内部容纳有物体的容器的三维扫描数据，重建容器及其容纳的物体的三维图像；立体显示重建的三维图像；基于用户的定位信息和动作信息确定针对容器中至少一件物体的操纵信息；基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像；以及在所显示的三维图像上展示重新重建的所述至少一件物体。三维扫描数据例如包括X射线断层(X-CT)扫描数据、多视角X射线扫描数据中至少之一。这些数据例如可以通过X-CT扫描设备、多视角X射线扫描设备等三维扫描设备来获得。可以基于三维扫描数据，确定所述至少一个物体的结构和材料特性中至少之一。所确定的结构和材料特性中至少之一可以显示于所述至少一个物体周围。用于显示三维图像和各种其他信息的显示器可以是立体显示器，例如头盔式、眼镜式、桌面式、投影式、手持式或自由立体显示式立体显示器。可以基于操纵信息和/或所确定的结构和材料特性中至少之一，确定反馈信息。可以基于反馈信息，向用户提供力/触觉反馈。例如，可以通过用户可穿戴的力/触觉反馈设备，来向用户提供力/触觉反馈可以基于所确定的操纵信息，控制扫描设备进一步扫描所述至少一个物体所在的区域。根据本公开的实施例，通过三维扫描设备(例如，X-CT或多视角X射线扫描设备)，可以生成容器(例如，集装箱)内物品的(三维)图像。通过立体显示所生成的图像，产生虚拟现实或增强现实空间。检查员可以配备VR或AR技术相关的辅助设备，进入虚拟现实空间或增强现实空间中，并可以对可疑区域进行翻箱检查。可以将检查员的动作实时反映到虚拟空间中，并同步显示翻箱检查过程。于是，检查员可以借助虚拟现实或增强现实装备与数字化环境中的容器内物品相互作用，可以产生亲临检查现场的真实感。这种仿真检查方法与现场开箱检查相比，形象而简单地展示了箱内货物的情况及开箱检查的过程，节约了检查的人力、物力和时间，提高了集装箱检查的效率和操作的安全性。附图说明通过以下参照附图对本公开实施例的描述，本公开的上述以及其他目的、特征和优点将更为清楚，在附图中：图1是示意性示出了根据本公开实施例的安检系统的框图；图2是示意性示出了根据本公开实施例的图像数据处理方法的流程图；图3是示意性示出了根据本公开实施例的图像数据处理设备的框图。贯穿附图，相同或相似的附图标记表示相同或相似的部件。具体实施方式以下，将参照附图来描述本公开的实施例。但是应该理解，这些描述只是示例性的，而并非要限制本公开的范围。此外，在以下说明中，省略了对公知结构和技术的描述，以避免不必要地混淆本公开的概念。在此使用的术语仅仅是为了描述具体实施例，而并非意在限制本公开。这里使用的词语“一”、“一个(种)”和“该”等也应包括“多个”、“多种”的意思，除非上下文另外明确指出。此外，在此使用的术语“包括”、“包含”等表明了所述特征、步骤、操作和/或部件的存在，但是并不排除存在或添加一个或多个其他特征、步骤、操作或部件。在此使用的所有术语(包括技术和科学术语)具有本领域技术人员通常所理解的含义，除非另外定义。应注意，这里使用的术语应解释为具有与本说明书的上下文相一致的含义，而不应以理想化或过于刻板的方式来解释。附图中示出了一些方框图和/或流程图。应理解，方框图和/或流程图中的一些方框或其组合可以由计算机程序指令来实现。这些计算机程序指令可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器，从而这些指令在由该处理器执行时可以创建用于实现这些方框图和/或流程图中所说明的功能/操作的装置。因此，本公开的技术可以硬件和/或软件(包括固件、微代码等)的形式来实现。另外，本公开的技术可以采取存储有指令的计算机可读介质上的计算机程序产品的形式，该计算机程序产品可供指令执行系统使用或者结合指令执行系统使用。在本公开的上下文中，计算机可读介质可以是能够包含、存储、传送、传播或传输指令的任意介质。例如，计算机可读介质可以包括但不限于电、磁、光、电磁、红外或半导体系统、装置、器件或传播介质。计算机可读介质的具体示例包括：磁存储装置，如磁带或硬盘(HDD)；光存储装置，如光盘(CD-ROM)；存储器，如随机存取存储器(RAM)或闪存；和/或有线/无线通信链路。图1是示意性示出了根据本公开实施例的安检系统的框图。如图1所示，根据该实施例的安检系统100可以包括图像数据处理设备110、三维扫描设备120和立体显示设备160。这种安检系统100可以适用于车站、机场、海关等需要对物品进行检查以便防止违禁品进入的场所。三维扫描设备120可以对对象例如内部容纳有物体的容器(例如，集装箱)200进行三维扫描，以生成三维扫描数据。在此，所谓“三本文档来自技高网...

【技术保护点】
1.一种图像数据处理方法，包括：基于针对内部容纳有物体的容器的三维扫描数据，重建容器及其容纳的物体的三维图像；立体显示重建的三维图像；基于用户的定位信息和动作信息确定针对容器中至少一件物体的操纵信息；基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像；以及在所显示的三维图像上展示重新重建的所述至少一件物体。

【技术特征摘要】
1.一种图像数据处理方法，包括：基于针对内部容纳有物体的容器的三维扫描数据，重建容器及其容纳的物体的三维图像；立体显示重建的三维图像；基于用户的定位信息和动作信息确定针对容器中至少一件物体的操纵信息；基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像；以及在所显示的三维图像上展示重新重建的所述至少一件物体。2.根据权利要求1所述的方法，其中，三维扫描数据包括X射线断层“X-CT”扫描数据、多视角X射线扫描数据中至少之一。3.根据权利要求1所述的方法，还包括：基于三维扫描数据，确定所述至少一个物体的结构和材料特性中至少之一。4.根据权利要求3所述的方法，还包括：在所述至少一个物体周围，显示所确定的结构和材料特性中至少之一。5.根据权利要求3或4所述的方法，还包括：基于操纵信息和/或所确定的所述至少一个物体的结构和材料特性中至少之一，确定反馈信息；以及基于反馈信息，向用户提供感觉上的反馈。6.根据权利要求1所述的方法，还包括：基于所确定的操纵信息，控制生成所述三维扫描数据的扫描设备进一步扫描所述至少一个物体所在的区域。7.一种图像数据处理设备，包括：通信接口，配置为接收内部容纳有物体的容器的三维扫描数据；以及处理器，配置为基于接收到的三维扫描数据，重建容器及其容纳的物体的三维图像以便显示；其中，通信接口还配置为接收用户的定位信息和动作信息，处理器还配置为基于接收到的定位信息和动作信息确定针对容器中至少一件物体的操纵信息，并基于所确定的操纵信息至少重新重建所述至少一件物体的三维图像。8.根据权利要求7所述的图像数据处理设备，其中，三维扫描数据包括X射线断层“X-CT”扫描数据、多视角X射线扫描数据中至少之一。9.根据...

【专利技术属性】
技术研发人员：赵自然，顾建平，刘必成，王琪，易茜，
申请(专利权)人：同方威视技术股份有限公司，清华大学，
类型：发明
国别省市：北京,11