基于温度场与实景视频流的双模式三维建模方法及装置制造方法及图纸

本申请实施例公开了基于温度场与实景视频流的双模式三维建模方法及装置。本申请实施例提供的技术方案，通过采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录红外相机的第一位姿信息和可见光相机的第二位姿信息，进一步基于点云数据构建火灾现场的初始三维模型，基于第一位姿信息将红外图像与初始三维模型匹配，构建温度场三维模型，基于第二位姿信息将视频流图像与初始三维模型融合，构建实景三维模型，最终将温度场三维模型和实景三维模型同屏输出显示。采用上述技术手段，可以实现火灾现场的温度场三维模型和实景三维模型的构建及显示，还原火灾现场情况，详细显示火源分布。

【技术实现步骤摘要】
基于温度场与实景视频流的双模式三维建模方法及装置
本申请实施例涉及三维模型构建
，尤其涉及基于温度场与实景视频流的双模式三维建模方法及装置。
技术介绍
目前，在火灾发生时，如若扑救不及时，难免会造成经济损失乃至人员伤亡。因此，在火灾发生时，如何对火灾进行及时扑救一直是人们关注的问题。为此，现有一种三维建模方法，其在发生大型火灾时，通过对火灾现场进行三维建模，可以准确的还原出火灾现场建筑、各类障碍物等的布局情况，消防人员基于火灾现场的三维模型，即可进行救援布局，制定相应的扑救计划，以此可提升火灾扑救效率，及时扑灭火源，保障人们的生命和财产安全。但是，由于火灾现场情况复杂，现场环境瞬息万变，仅仅通过三维模型难以较好地还原火灾现场的实际情况，也难以获知火源的具体分布情况，基于简单的三维模型容易误导救援布局，导致扑救计划出错的情况。
技术实现思路
本申请实施例提供基于温度场与实景视频流的双模式三维建模方法及装置，能够准确还原火灾现场情况，详细显示火源分布，优化火灾现场信息展示效果。在第一方面，本申请实施例提供了一种基于温度场与实景视频流的双模式三维建模方法，包括：采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录所述红外相机的第一位姿信息和所述可见光相机的第二位姿信息；基于所述点云数据构建火灾现场的初始三维模型，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型；将所述温度场三维模型和所述实景三维模型同屏输出显示。进一步的，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，包括：基于所述第一位姿信息建立所述红外图像上各个点与所述初始三维模型的空间点的匹配关系；确定所述红外图像上各个点的温度值，基于所述匹配关系将所述红外图像上各个点的温度值映射至所述初始三维模型；对所述初始三维模型进行插值处理，构建温度场三维模型。进一步的，确定所述红外图像上各个点的温度值，包括：基于所述红外图像上各个点的图像特征确定各个点的温度值。进一步的，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型，包括：基于所述第二位姿信息在所述初始三维模型上构建所述可见光相机的虚拟视见体；基于所述虚拟视见体的拍摄范围利用投影纹理技术将所述视频流图像投影至所述初始三维模型中；通过所述视频流图像与所述初始三维模型进行纹理融合构建实景三维模型。进一步的，将所述温度场三维模型和所述实景三维模型同屏输出显示，还包括：将所述温度场三维模型和所述实景三维模型同方位显示于显示屏，并响应于对所述温度场三维模型的显示方位调整，对应调整所述实景三维模型的显示方位，或者响应于对所述实景三维模型的显示方位调整，对应调整所述温度场三维模型的显示方位。进一步的，在将所述温度场三维模型和所述实景三维模型同屏输出显示之后，还包括：将所述温度场三维模型上各个空间点的温度值比对预设的温度阈值，确定温度超标的高温位置，将所述高温位置标记于所述温度场三维模型。进一步的，在确定温度超标的高温位置，将所述高温位置标记于所述温度场三维模型之后，还包括：根据所述高温位置的坐标点在所述实景三维模型确定对应的坐标点并进行标记。在第二方面，本申请实施例提供了一种基于温度场与实景视频流的双模式三维建模装置，包括：采集模块，用于采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录所述红外相机的第一位姿信息和所述可见光相机的第二位姿信息；构建模块，用于基于所述点云数据构建火灾现场的初始三维模型，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型；显示模块，用于将所述温度场三维模型和所述实景三维模型同屏输出显示。在第三方面，本申请实施例提供了一种电子设备，包括：存储器以及一个或多个处理器；所述存储器，用于存储一个或多个程序；当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如第一方面所述的基于温度场与实景视频流的双模式三维建模方法。在第四方面，本申请实施例提供了一种包含计算机可执行指令的存储介质，所述计算机可执行指令在由计算机处理器执行时用于执行如第一方面所述的基于温度场与实景视频流的双模式三维建模方法。本申请实施例通过采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录红外相机的第一位姿信息和可见光相机的第二位姿信息，进一步基于点云数据构建火灾现场的初始三维模型，基于第一位姿信息将红外图像与初始三维模型匹配，构建温度场三维模型，基于第二位姿信息将视频流图像与初始三维模型融合，构建实景三维模型，最终将温度场三维模型和实景三维模型同屏输出显示。采用上述技术手段，可以实现火灾现场的温度场三维模型和实景三维模型的构建及显示，准确还原火灾现场情况，详细显示火源分布。以此可便于消防人员了解实时火灾情况，制定消防应对方案，优化火灾现场信息展示效果及火灾救援效率。附图说明图1是本申请实施例一提供的一种基于温度场与实景视频流的双模式三维建模方法的流程图；图2是本申请实施例一中的温度场三维模型构建流程图；图3是本申请实施例一中的空间点匹配示意图；图4是本申请实施例一中的实景三维模型的构建流程图；图5是本申请实施例二提供的一种基于温度场与实景视频流的双模式三维建模装置的结构示意图；图6是本申请实施例三提供的一种电子设备的结构示意图。具体实施方式为了使本申请的目的、技术方案和优点更加清楚，下面结合附图对本申请具体实施例作进一步的详细描述。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。本申请提供的基于温度场与实景视频流的双模式三维建模方法，旨在通过构建显示火灾现场的温度场三维模型和实景三维模型，以更具象地还原火灾现场情况，详细显示火源分布。对于消防人员而言，基于实景三维模型配合温度场分布可以具体了解火源、高温本文档来自技高网...

【技术保护点】
1.一种基于温度场与实景视频流的双模式三维建模方法，其特征在于，包括：/n采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录所述红外相机的第一位姿信息和所述可见光相机的第二位姿信息；/n基于所述点云数据构建火灾现场的初始三维模型，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型；/n将所述温度场三维模型和所述实景三维模型同屏输出显示。/n

【技术特征摘要】
1.一种基于温度场与实景视频流的双模式三维建模方法，其特征在于，包括：
采集火灾现场的点云数据，并通过红外相机采集火灾现场的红外图像，通过可见光相机采集火灾现场的视频流图像，记录所述红外相机的第一位姿信息和所述可见光相机的第二位姿信息；
基于所述点云数据构建火灾现场的初始三维模型，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型；
将所述温度场三维模型和所述实景三维模型同屏输出显示。


2.根据权利要求1所述的基于温度场与实景视频流的双模式三维建模方法，其特征在于，基于所述第一位姿信息将所述红外图像与所述初始三维模型匹配，构建温度场三维模型，包括：
基于所述第一位姿信息建立所述红外图像上各个点与所述初始三维模型的空间点的匹配关系；
确定所述红外图像上各个点的温度值，基于所述匹配关系将所述红外图像上各个点的温度值映射至所述初始三维模型；
对所述初始三维模型进行插值处理，构建温度场三维模型。


3.根据权利要求1所述的基于温度场与实景视频流的双模式三维建模方法，其特征在于，确定所述红外图像上各个点的温度值，包括：
基于所述红外图像上各个点的图像特征确定各个点的温度值。


4.根据权利要求1所述的基于温度场与实景视频流的双模式三维建模方法，其特征在于，基于所述第二位姿信息将所述视频流图像与所述初始三维模型融合，构建实景三维模型，包括：
基于所述第二位姿信息在所述初始三维模型上构建所述可见光相机的虚拟视见体；
基于所述虚拟视见体的拍摄范围利用投影纹理技术将所述视频流图像投影至所述初始三维模型中；
通过所述视频流图像与所述初始三维模型进行纹理融合构建实景三维模型。


5.根据权利要求1所述的基于温度场与实景视频流的双模式三维建模方法，其特征在于，将所述温度场三维模型和所述实景三维模型同屏输出显示，还包括：
将所述温度场三维模型和所述实景三维模型...

【专利技术属性】
技术研发人员：李捷，刘波，彭真，吴晓杭，
申请(专利权)人：广东中科瑞泰智能科技有限公司，
类型：发明
国别省市：广东;44