火场环境显示方法、装置、头戴设备及可读存储介质制造方法及图纸

本公开实施例公开了火场环境显示方法、装置、头戴设备及可读存储介质。所述方法在头戴设备上运行，包括：获取穿戴头戴设备的用户所在火场环境的环境信息；根据环境信息识别所述火场环境中实体的类别；根据实体的类别对显示在头戴设备的透过性显示单元上的述实体进行预设处理；预设处理包括对显示在透过性显示单元上的实体的图像进行增强显示、修改显示和屏蔽显示中的至少一种。通过本公开能够自动识别火场环境中用户关注的实体类别，并以较为显眼的方式显示所关注实体及相关实体，并减弱干扰实体的显示，使得用户如消防员能够快速而准确地观察到火场环境中重要实体，有助于用户如消防员执行救援任务，并能进一步保证了用户的人身安全。

Fire environment display method, device, headwear equipment and readable storage medium

The public embodiment discloses a fire environment display method, a device, a headwear device and a readable storage medium. The method is operated on the head wear device, including: obtaining the environment information of the fire environment where the user is wearing the wear device; identifying the categories of the entities in the fire field according to the environmental information; the preset processing of the entities displayed on the transmittance display unit of the head wear device according to the category of the entity; It includes at least one image enhancement display, modification display and shielding display on the entities displayed on the transmission display unit. This public can automatically identify the entity category of the user concerned in the fire field, display the concerned entity and related entity in a more visible way, and weaken the display of the interfering entity, so that the user, such as the fireman, can quickly and accurately observe the important entity in the fire field, and help the user to execute the fireman, such as the fireman. The rescue mission can further ensure the user's personal safety.

【技术实现步骤摘要】
火场环境显示方法、装置、头戴设备及可读存储介质
本公开涉及智能识别
，具体涉及一种火场环境显示方法、装置、头戴设备及计算机可读存储介质。
技术介绍
随着增强现实技术的快速发展和企业的研发推进，增强现实技术在医学、军事、消防、娱乐、以及日常生活等各个领域凸显出明显的优势与价值，基于增强现实技术的救灾系统也不断涌现。
技术实现思路
本公开实施例提供一种火场环境显示方法、装置、头戴设备及计算机可读存储介质。第一方面，本公开实施例中提供了一种火场环境显示方法，所述方法在头戴设备上运行，包括：获取穿戴所述头戴设备的用户所在火场环境的环境信息；根据所述环境信息识别所述火场环境中实体的类别；根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理；所述预设处理包括对显示在所述透过性显示单元上的所述实体的图像进行增强显示、修改显示和屏蔽显示中的至少一种。可选地，所述头戴设备上设置有激光雷达模块和热成像模块；其中，获取穿戴所述头戴设备的用户当前所处环境的环境信息，包括：通过所述激光雷达模块检测所述用户所在火场环境中的距离信息，并建立所述用户所在火场环境的三维场景模型；通过所述热成像模块检测所述用户所在火场环境中的热力分布信息，并将所述热力分布信息叠加到所述三维场景模型中，获得所述用户所在火场环境的包括热力分布信息的三维图像。可选地，所述头戴设备上还设置有生命特征检测模块和/或图像传感器；其中，获取穿戴所述头戴设备的用户当前所处环境的环境信息，还包括：通过所述生命特征检测模块检测所述用户所在火场环境中的生命体特征；和/或，通过所述图像传感器检测所述用户所在火场环境中的图像信息。可选地，根据所述环境信息识别所述火场环境中实体的类别，包括：根据所述距离信息识别实体的形状轮廓，并根据所述实体的形状轮廓识别所述实体的类别；或者，根据所述激光雷达模块检测到的所述距离信息识别实体的形状轮廓，并结合所述热力分布信息、所述图像信息和/或所述生命体特征识别所述实体的类别。可选地，根据所述环境信息识别所述火场环境中实体的类别，包括：将所述距离信息、热力分布信息、图像信息和生命体特征中的一个或多个作为输入，根据预先训练好的实体识别模型识别所述实体的类别。可选地，根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理，包括：若所述实体属于第一预设类别，在所述实体透过所述头戴设备的透过性显示单元进行显示时，加强所述实体的显示强度；和/或，若所述实体属于第二预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，屏蔽所述实体反射的自然光线；和/或，若所述实体属于第三预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，修改所述实体的显示内容。可选地，根据所述环境信息识别所述火场环境中实体的类别，还包括：确定穿戴所述头戴设备的用户的注意力信息；根据所述用户的注意力信息以及所述环境信息确定所述用户关注的第一实体；识别所述第一实体的类别。可选地，根据所述用户的注意力以及所述环境信息确定所述用户当前所注意的第一实体之后，还包括：确定与所述第一实体相关的第二实体；识别所述第二实体的类别。可选地，确定穿戴所述头戴设备的用户的注意力信息，包括：根据所述用户的眼球图像特征以及所述用户的生理特征确定所述用户的注意力信息。可选地，根据所述环境信息识别所述火场环境中实体的类别之后，还包括：通过分析所述用户的注意力信息以及关注的第一实体的类别，确定所述用户当前执行的任务。可选地，所述实体的类别根据所述实体与所述用户在所述火场环境中执行任务的关系划分。第二方面，本公开实施例提供了一种火场环境显示装置，所述装置在头戴设备上运行，包括：第一获取模块，被配置为获取穿戴所述头戴设备的用户当前所处环境的三维图像以及所述三维图像中实体的参数；识别模块，被配置为根据所述参数识别所述三维图像中实体的类别；处理模块，被配置为根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理；所述预设处理包括对显示在所述透过性显示单元上的所述实体的图像进行增强显示、修改显示和屏蔽显示中的一种或多种。可选地，所述头戴设备上设置有激光雷达模块和热成像模块；其中，所述第一获取模块，包括：建立子模块，被配置为通过所述激光雷达模块检测所述用户所在火场环境中的距离信息，并建立所述用户所在火场环境的三维场景模型；第一获取子模块，被配置为通过所述热成像模块检测所述用户所在火场环境中的热力分布信息，并将所述热力分布信息叠加到所述三维场景模型中，获得所述用户所在火场环境的包括热力分布信息的三维图像。可选地，所述头戴设备上还设置有生命特征检测模块和/或图像传感器；其中，所述第一获取模块，还包括：第一检测子模块，被配置为通过所述生命特征检测模块检测所述用户所在火场环境中的生命体特征；和/或，第二检测子模块，被配置为通过所述图像传感器检测所述用户所在火场环境中的图像信息。可选地，所述第一识别模块，包括：第一识别子模块，被配置为根据所述距离信息识别实体的形状轮廓，并根据所述实体的形状轮廓识别所述实体的类别；或者，第二识别子模块，被配置为根据所述激光雷达模块检测到的所述距离信息识别实体的形状轮廓，并结合所述热力分布信息、所述图像信息和/或所述生命体特征识别所述实体的类别。可选地，所述第一识别模块，包括：第三识别子模块，被配置为将所述距离信息、热力分布信息、图像信息和生命体特征中的一个或多个作为输入，根据预先训练好的实体识别模型识别所述实体的类别。可选地，所述处理模块，包括：第一显示子模块，被配置为若所述实体属于第一预设类别，在所述实体透过所述头戴设备的透过性显示单元进行显示时，加强所述实体的显示强度；和/或，第二显示子模块，被配置为若所述实体属于第二预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，屏蔽所述实体反射的自然光线；和/或，第三显示子模块，被配置为若所述实体属于第三预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，修改所述实体的显示内容。可选地，所述识别模块，还包括：第一确定子模块，被配置为确定穿戴所述头戴设备的用户的注意力信息；第二确定子模块，被配置为根据所述用户的注意力信息以及所述环境信息确定所述用户关注的第一实体；第四识别子模块，被配置为识别所述第一实体的类别。可选地，所述第二确定子模块之后，还包括：第三确定子模块，被配置为确定与所述第一实体相关的第二实体；第五识别子模块，被配置为识别所述第二实体的类别。可选地，所述第一确定子模块，包括：第三确定子模块，被配置为根据所述用户的眼球图像特征以及所述用户的生理特征确定所述用户的注意力信息。可选地，所述识别模块之后，还包括：确定模块，被配置为通过分析所述用户的注意力信息以及关注的第一实体的类别，确定所述用户当前执行的任务。可选地，所述实体的类别根据所述实体与所述用户在所述火场环境中执行任务的关系划分。所述功能可以通过硬件实现，也可以通过硬件执行相应的软件实现。所述硬件或软件包括一个或多个与上述功能相对应的模块。在一个可能的设计中，火场环境显示装置的结构中包括存储器和处理器，所述存储器用于存储一条或多条支持火场环境显示装置执行上述第一方面中本文档来自技高网...

【技术保护点】
1.一种火场环境显示方法，其特征在于，所述方法在头戴设备上运行，包括：获取穿戴所述头戴设备的用户所在火场环境的环境信息；根据所述环境信息识别所述火场环境中实体的类别；根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理；所述预设处理包括对显示在所述透过性显示单元上的所述实体的图像进行增强显示、修改显示和屏蔽显示中的至少一种。

【技术特征摘要】
1.一种火场环境显示方法，其特征在于，所述方法在头戴设备上运行，包括：获取穿戴所述头戴设备的用户所在火场环境的环境信息；根据所述环境信息识别所述火场环境中实体的类别；根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理；所述预设处理包括对显示在所述透过性显示单元上的所述实体的图像进行增强显示、修改显示和屏蔽显示中的至少一种。2.根据权利要求1所述的显示方法，其特征在于，所述头戴设备上设置有激光雷达模块和热成像模块；其中，获取穿戴所述头戴设备的用户所在火场环境的环境信息，包括：通过所述激光雷达模块检测所述用户所在火场环境中的距离信息，并建立所述用户所在火场环境的三维场景模型；通过所述热成像模块检测所述用户所在火场环境中的热力分布信息，并将所述热力分布信息叠加到所述三维场景模型中，获得所述用户所在火场环境的包括热力分布信息的三维图像。3.根据权利要求2所述的显示方法，其特征在于，所述头戴设备上还设置有生命特征检测模块和/或图像传感器；其中，获取穿戴所述头戴设备的用户当前所处环境的环境信息，还包括：通过所述生命特征检测模块检测所述用户所在火场环境中的生命体特征；和/或，通过所述图像传感器检测所述用户所在火场环境中的图像信息。4.根据权利要求2或3所述的显示方法，其特征在于，根据所述环境信息识别所述火场环境中实体的类别，包括：根据所述距离信息识别实体的形状轮廓，并根据所述实体的形状轮廓识别所述实体的类别；或者，根据述距离信息识别实体的形状轮廓，并结合所述热力分布信息、所述图像信息和/或所述生命体特征识别所述实体的类别。5.根据权利要求3-4中任一项所述的显示方法，其特征在于，根据所述环境信息识别所述火场环境中实体的类别，包括：将所述距离信息、热力分布信息、图像信息和生命体特征中的一个或多个作为输入，根据预先训练好的实体识别模型识别所述实体的类别。6.根据权利要求1所述的显示方法，其特征在于，根据所述实体的类别对显示在所述头戴设备的透过性显示单元上的所述实体进行预设处理，包括：若所述实体属于第一预设类别，在所述实体透过所述头戴设备的透过性显示单元进行显示时，加强所述实体的显示强度；和/或，若所述实体属于第二预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，屏蔽所述实体反射的自然光线；和/或，若所述实体属于第三预设类别时，在所述实体透过所述头戴设备的透过性显示单元进行显示时，修改所述实体的显示内容。7.根据权利要求1所述的显示方法，其特征在于，根据所述环境信息识别所述火场环境中实体的类别，还包括：确定穿戴所述头戴设备的用户的注意力信息；根据所述用户的注意力信息以及所述环境信息确定所述用户关注的第一实体；识别所述第一实体的类别。8.根据权利要求7所述的显示方法，其特征在于，根据所述用户的注意力信息以及所述环境信息确定所述用户关注的第一实体之后，还包括：确定与所述第一实体相关的第二实体；识别所述第二实体的类别。9.根据权利要求7所述的显示方法，其特征在于，确定穿戴所述头戴设备的用户的注意力信息，包括：根据所述用户的眼球图像特征以及所述用户的生理特征确定所述用户的注意力信息。10.根据权利要求7所述的显示方法，其特征在于，根据所述环境信息识别所述火场环境中实体的类别之后，还包括：通过分析所述用户的注意力信息以及关注的第一实体的类别，确定所述用户当前执行的任务。11.根据权利要求1所述的显示方法，其特征在于，所述实体的类别根据所述实体与所述用户在所述火场环境中执行任务的关系划分。12.一种火场环境显示装置，其特征在于，所述装置在头戴设备上运行，包括：第一获取模块，被配置为获取穿戴所述头戴设备的用户当前所处环境的三维图像以及所述三维图像中实体的参数；识别模块，被配置为根据所述参数识别所述三维图像中实体的类别；处理模块，被配置为根据所述实体的类别...

【专利技术属性】
技术研发人员：吴疆，
申请(专利权)人：上海瀚莅电子科技有限公司，
类型：发明
国别省市：上海,31