一种基于AR技术的物资堆叠方式的预估方法及装置制造方法及图纸

本发明专利技术公开了一种基于AR技术的物资堆叠方式的预估方法及装置，包括以下步骤：1)确定用户需要进行装箱的各货物的长宽高信息；2)开启AR堆叠呈现界面；3)在AR堆叠呈现界面中构建真实世界三维坐标系；4)获取装箱空间底面三个顶点在真实世界三维坐标系下的三维坐标；5)计算装箱空间底面第四个顶点及装箱空间顶面四个顶点在真实世界三维坐标系下的三维坐标；6)绘制装箱空间的3D包围盒；7)获取所有货物左侧后下顶点在算法坐标系下的三维坐标；8)得所有货物左侧后下顶点在真实世界三维坐标系下的三维坐标；9)将各货物的3D包围盒装入到装箱空间内，该方法及装置能够模拟虚拟货物在真实箱体内的装箱过程。

A prediction method and device of material stacking mode based on AR technology

【技术实现步骤摘要】
一种基于AR技术的物资堆叠方式的预估方法及装置
本专利技术属于AR
，涉及一种基于AR技术的物资堆叠方式的预估方法及装置。
技术介绍
增强现实旨在将要呈现的信息直接注册到物理环境中。AR超越了移动计算，因为它在空间和认知上都弥合了虚拟世界和现实世界之间的鸿沟。有了AR，数字信息似乎成为了现实世界的一部分。Azuma在1997年在其调查论文中提出了最广泛接受的AR的定义，AR必须有三个特征：1，结合虚拟和现实2，与现实实时互动3，3D注册。这个定义并没有制定特定的输出设备，例如头戴式现实器(HMD)，也不会将AR限制在具体的媒体上。一个AR系统至少需要三个组件：跟踪组件、注册组件、可视化组件。在开发上具体的实现方式，主要是一下几点：1、跟踪支持：当设备在现实世界中移动时，可以使用单目slam、双目slam、或结构光来确定设备相对于周围世界的位置。通过检测捕获的摄像头图像的视觉差异特征(称为特征点)，并使用这些点来计算其位置变化。这些视觉信息将于设备的传感器信息结果结合，一起用于估测摄像头随着时间推移而相对于周围世界的姿态(位置和方向)。通过将渲染3D内容的虚拟摄像头的姿态与真实的设备摄像头的姿态对齐，开发者能够从正确的透视角度渲染虚拟内容。渲染的虚拟图像可以叠加到从设备摄像头获取的图像上，让虚拟内容看起来就像现实世界的一部分一样。2、环境理解：通过检测特征点和平面来不断改进它对现实世界环境的理解。AR通过环境理解可以查找多种类型的空间，可以确定每个空间的边界，并将该信息提供给用户，用户可以使用此信息将虚拟物体置于识别到的空间中。3、光估计：通过结合光照传感器，可以检测其环境光线的相关信息，并为应用提供给定摄像头图像平均光照强度和色彩校正，提升虚拟物体的真实感。物资堆叠方式问题，实质是一个数学上的装箱问题。从20世纪70年代初开始，装箱问题就引起了广泛的探讨和研究。然而装箱问题可以追溯到1831年高斯开始研究布局问题，因为装箱问题和布局问题本质上是一样的，到现在已有百余年的历史。装箱问题广泛存在于工业生产，包括服装行业的面料剪裁、运输行业的集装箱货物装载、加工行业的板材型材下料、印刷行业的排样和现实生活中包装、整理物件等。通过市场调研发现，目前市面上的装箱软件国内的有装箱大师LoadMaster、国外的有TOPSPro和Cube-IQ，这些装箱软件所构建的场景是在虚拟的3D空间中。用户通过输入一批货物和需要装入货物的箱体的长宽高，通过运行装箱过程将立方体所代表的货物将绘制在虚拟的货箱空间中。目前装箱软件将场景设置在虚拟的空间中的设计方式，限制了软件使用者真实的参与到装箱过程中。由于装箱过程是在虚拟的空间中，用户无法将虚拟货物尺寸和真实要装箱空间的尺寸进行对比，即不能模拟虚拟的货物在真实箱体内的装箱过程，使得用户体验下降，由于大部分软件无法支持透视内部货物的方式，可能导致误装的现象的产生。
技术实现思路
本专利技术的目的在于克服上述现有技术的缺点，提供了一种基于AR技术的物资堆叠方式的预估方法及装置，该方法及装置能够模拟虚拟货物在真实箱体内的装箱过程。为达到上述目的，本专利技术所述的基于AR技术的物资堆叠方式的预估方法包括以下步骤：1)确定用户需要进行装箱的各货物的长宽高信息；2)开启AR堆叠呈现界面；3)使用AR的环境感知识别装箱空间的基平面，然后在AR堆叠呈现界面中构建真实世界三维坐标系；4)获取装箱空间底面三个顶点在真实世界三维坐标系下的三维坐标；5)通过三维空间向量运算计算装箱空间底面第四个顶点在真实世界三维坐标系下的三维坐标，然后根据装箱的高度确定装箱空间顶面四个顶点在真实世界三维坐标系下的三维坐标；6)根据装箱空间底面四个顶点及顶面四个顶点在真实世界三维坐标系下的三维坐标绘制装箱空间的3D包围盒；7)以货物左侧后下方顶点作为三维空间坐标系的原点，调用装箱算法，构建算法坐标系下，获取所有货物左侧后下顶点在算法坐标系下的三维坐标；8)将步骤7)得到所有货物左侧后下顶点在算法坐标系下的三维坐标转换到真实三维空间坐标系下，得所有货物左侧后下顶点在真实世界三维坐标系下的三维坐标；9)绘制货物的3D包围盒，然后根据各货物在真实世界三维坐标系下的三维坐标将各货物的3D包围盒装入到装箱空间内，以实现基于AR技术的物资堆叠方式的预估。步骤1)中，采用手动式测量或者视觉算法测量货物的长宽高信息，并将测量得到的货物的长宽高信息存储到数据库中，同时利用起始界面展示数据库中存储的货物的长宽高信息。步骤2)中的AR堆叠呈现界面为AR与真实世界交互的窗口，用于实现虚拟世界与真实世界的联通，AR堆叠呈现界面的顶部显示有用户提示语，AR堆叠呈现界面的中间位置处设置有定位标志，AR堆叠呈现界面的底部设置有点击按钮，用户点击该点击按钮后，可以在AR堆叠呈现界面所看到的真实世界中放置虚拟物体。步骤3)中，通过单目slam、双目slam或结构光识别装箱空间的基平面，再根据运动跟踪的收集设备在三维空间中的运动信息，并结合slam算法构建真实世界三维坐标系。步骤7)的具体操作为：以货物左侧后下方顶点作为原点，调用装箱算法，构建算法坐标系下，将货物的左侧后下方顶点置于该算法坐标系下的坐标原点处，并将整个装箱空间分割成三个空余的空间，然后将第二个货物和三个分割出来的空间进行比较，并将第二个货物装入合适的空间内，得所有货物左侧后下顶点在算法坐标系下的三维坐标。步骤7)中采用空间选取策略将第二个货物装入合适的空间内，其中，装入时，优先选择高度坐标较低的空间进行装入。以动画的形式绘制各货物的3D包围盒，其中，设置两次绘制的帧间隔，每当帧计数达到帧计数起后即可绘制一个货物的3D包围盒，直至所有货物的3D包围盒绘制完毕为止。还包括：对各货物的3D包围盒标注货物的ID，在装入时，根据货物的ID将货物装入装箱空间内。本专利技术所述的基于AR技术的物资堆叠方式的预估装置包括：第一采集模块，用于确定用户需要进行装箱的各货物的长宽高信息；操作面板，用于开启AR堆叠呈现界面；三维坐标构建模块，用于使用AR的环境感知识别装箱空间的基平面，然后在AR堆叠呈现界面中构建真实世界三维坐标系；第二获取模块，用于获取装箱空间底面三个顶点在真实世界三维坐标系下的三维坐标；第三获取模块，用于通过三维空间向量运算计算装箱空间底面第四个顶点在真实世界三维坐标系下的三维坐标，然后根据装箱的高度确定装箱空间顶面四个顶点在真实世界三维坐标系下的三维坐标；绘制模块，用于根据装箱空间底面四个顶点及顶面四个顶点在真实世界三维坐标系下的三维坐标绘制装箱空间的3D包围盒；第四获取模块，用于以货物左侧后下方顶点作为原点，调用装箱算法，构建算法坐标系下，获取所有货物左侧后下顶点在算法坐标系下的三维坐标；第四获取模块，用于将所有货物左侧后下顶点在算法坐标系下的三维坐标转换到真实三维空间坐标系下，得所有本文档来自技高网...

【技术保护点】
1.一种基于AR技术的物资堆叠方式的预估方法，其特征在于，包括以下步骤：/n1)确定用户需要进行装箱的各货物的长宽高信息；/n2)开启AR堆叠呈现界面；/n3)使用AR的环境感知识别装箱空间的基平面，然后在AR堆叠呈现界面中构建真实世界三维坐标系；/n4)获取装箱空间底面三个顶点在真实世界三维坐标系下的三维坐标；/n5)通过三维空间向量运算计算装箱空间底面第四个顶点在真实世界三维坐标系下的三维坐标，然后根据装箱的高度确定装箱空间顶面四个顶点在真实世界三维坐标系下的三维坐标；/n6)根据装箱空间底面四个顶点及顶面四个顶点在真实世界三维坐标系下的三维坐标绘制装箱空间的3D包围盒；/n7)以货物左侧后下方顶点作为三维空间坐标系的原点，调用装箱算法，构建算法坐标系下，获取所有货物左侧后下顶点在算法坐标系下的三维坐标；/n8)将步骤7)得到所有货物左侧后下顶点在算法坐标系下的三维坐标转换到真实三维空间坐标系下，得所有货物左侧后下顶点在真实世界三维坐标系下的三维坐标；/n9)绘制货物的3D包围盒，然后根据各货物在真实世界三维坐标系下的三维坐标将各货物的3D包围盒装入到装箱空间内，以实现基于AR技术的物资堆叠方式的预估。/n...

【技术特征摘要】
1.一种基于AR技术的物资堆叠方式的预估方法，其特征在于，包括以下步骤：
1)确定用户需要进行装箱的各货物的长宽高信息；
2)开启AR堆叠呈现界面；
3)使用AR的环境感知识别装箱空间的基平面，然后在AR堆叠呈现界面中构建真实世界三维坐标系；
4)获取装箱空间底面三个顶点在真实世界三维坐标系下的三维坐标；
5)通过三维空间向量运算计算装箱空间底面第四个顶点在真实世界三维坐标系下的三维坐标，然后根据装箱的高度确定装箱空间顶面四个顶点在真实世界三维坐标系下的三维坐标；
6)根据装箱空间底面四个顶点及顶面四个顶点在真实世界三维坐标系下的三维坐标绘制装箱空间的3D包围盒；
7)以货物左侧后下方顶点作为三维空间坐标系的原点，调用装箱算法，构建算法坐标系下，获取所有货物左侧后下顶点在算法坐标系下的三维坐标；
8)将步骤7)得到所有货物左侧后下顶点在算法坐标系下的三维坐标转换到真实三维空间坐标系下，得所有货物左侧后下顶点在真实世界三维坐标系下的三维坐标；
9)绘制货物的3D包围盒，然后根据各货物在真实世界三维坐标系下的三维坐标将各货物的3D包围盒装入到装箱空间内，以实现基于AR技术的物资堆叠方式的预估。


2.根据权利要求1所述的基于AR技术的物资堆叠方式的预估方法，其特征在于，步骤1)中，采用手动式测量或者视觉算法测量货物的长宽高信息，并将测量得到的货物的长宽高信息存储到数据库中，同时利用起始界面展示数据库中存储的货物的长宽高信息。


3.根据权利要求1所述的基于AR技术的物资堆叠方式的预估方法，其特征在于，步骤2)中的AR堆叠呈现界面为AR与真实世界交互的窗口，用于实现虚拟世界与真实世界的联通，AR堆叠呈现界面的顶部显示有用户提示语，AR堆叠呈现界面的中间位置处设置有定位标志，AR堆叠呈现界面的底部设置有点击按钮，用户点击该点击按钮后，可以在AR堆叠呈现界面所看到的真实世界中放置虚拟物体。


4.根据权利要求1所述的基于AR技术的物资堆叠方式的预估方法，其特征在于，步骤3)中，通过单目slam、双目slam或结构光识别装箱空间的基平面，再根据运动跟踪的收集设备在三维空间中的运动信息，并结合slam算法构建真实世界三维坐标系。


5.根据权利要求1所述的基于AR技术的物资堆叠方式的预估方法，其特征在于，步骤7)的具体操作为：以货物...

【专利技术属性】
技术研发人员：胡亚楠，潘焜，王铁铮，喻晓，
申请(专利权)人：国网北京市电力公司，国家电网有限公司，
类型：发明
国别省市：北京;11