一种基于nerf的室内家电交互智能判断方法技术

本发明专利技术公开了一种基于nerf的室内家电交互智能判断方法，具体包括以下步骤：S1、手机扫描：在这个过程中，用户只需要用手机拍摄一段涵盖其房间内所有IoT设备的视频即可，本发明专利技术涉及智能交互系统技术领域。该基于nerf的室内家电交互智能判断方法，通过使用手机进行室内扫描，这是一个独特的方法，让用户能够直接使用手机来获取室内环境的信息，而不需要购买额外的硬件，利用NERF技术进行室内环境重建：现有的智能家居系统通常基于预设的房间布局和设备位置，而在方案中，通过手机扫描和NeRF技术，自动地重建了室基于nerf重建信息与姿态感知的IoT智能家居控制室内环境，这无疑提高了系统的易用性和灵活性，使用数字孪生模型进行智能家居控制。智能家居控制。智能家居控制。

【技术实现步骤摘要】
一种基于nerf的室内家电交互智能判断方法


[0001]本专利技术涉及智能交互系统
，具体为一种基于nerf的室内家电交互智能判断方法。

技术介绍

[0002]NeRF是一种用于生成新的、合成的视图的技术，适用于复杂的场景，如室内和户外环境，它的核心思想是学习一个神经网络，该网络将3D空间中的一个点和一个观察方向作为输入，输出该点在该方向的颜色和不透明度，智能语音交互是基于语音输入的新一代交互模式，你可以通过说话就可以得到反馈结果，典型的应用场景——语音助手，自从iPhone 4S推出SIRI后，智能语音交互应用得到飞速发展，中文典型的智能语音交互应用如：虫洞语音助手、讯飞语点已得到越来越多的用户认可。
[0003]现有用户为了监控室内环境，还需要额外购买其他器材，用户需要手动输入设备的位置或配置房间的布局，整体的操作存在一定的局限性，而且现有技术不能实时反映室内环境，使得内部智能设备的使用功效较低。

技术实现思路

[0004]针对现有技术的不足，本专利技术提供了一种基于nerf的室内家电交互智能判断方法，解决了整本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于nerf的室内家电交互智能判断方法，其特征在于：具体包括以下步骤：S1、手机扫描：在这个过程中，用户只需要用手机拍摄一段涵盖其房间内所有IoT设备的视频即可；S2、对相机外参进行推导：(1)、特征提取与匹配：当特征在所有图像中都被提取出来后，COLMAP将开始进行特征匹配，特征匹配是指在两幅或者多幅图像之间找出相同的特征点，特征描述符，一个表示特征周围像素强度模式的向量在此阶段起关键作用，使用例如欧氏距离的方法，可以在不同图像中找到描述符最相似(即最接近)的特征，认定它们为匹配的特征点；(2)、稀疏重建：有了匹配的特征点后，我们就可以通过计算这些特征点在，空间中的位置以及相机的位置和姿态来创建一个稀疏的三维模型，这是通过解决一个称为“光束法平差”的优化问题实现的，光束法平差基本上是一个最小化投影误差的过程。投影误差是图像上观察到的点和通过相机模型投影的3D点之间的距离。在此过程中，算法会尝试找到一组相机参数(包括每个相机的位置和姿态)以及3D点的位置，这些参数可以使得所有的投影误差最小，这个优化问题通常通过迭代的线性化方法来解决，如高斯
‑
牛顿方法或者利文伯格
‑
夸尔特方法。在每次迭代中，都会寻找一个参数更新，以使得投影误差进一步减小，当优化收敛时，我们就可以获得相机的位置和姿态，以及匹配特征点的三维坐标；S3、NeRF根据图像对室内环境进行重建，得到NeRF模型；S4、根据NeRF模型，可得到室内中任意方位任意视角的图像，并由此可得：(1)、房间内固定摄像头的位置这个部分和2的部分方法相同，运用已有的图像序列与NeRF的补充渲染，我们可以轻松的通过特征点匹配与稀松重建获得固定摄像头的位置参数；(2)、房间内每个位置的家电的位置，这个部分我们实现了两种方法进行综合判断：a.3D物体识别i.生成3D模型：首先，使用NeRF模型，我们能够从多个视角生成房间的3D模型，这包括物体的形状、颜色和位置等信息，这个模型能够覆盖到房间中的每一个角落，因此我们可以从这个模型中获取家电的具体位置；ii.物体识别：然后，我们需要在3D模型中识别出家电。这可以通过训练一个深度学习模型来实现，这个模型能够识别3D模型中的各种家电，例如，我们可以训练一个3D卷积神经网络，这个网络能够处理3D数据并识别出家电的形状；iii.家电定位：一旦我们在3D模型中识别出家电，我们就可以确定家电的位置，具体来说，我们可以找出家电模型的重心，这个重心就可以被用作家电的位置，这个位置是在3D空间中的，可以用来指导后续的设备控制；b.2D的深度感知判断：先对视频序列进行目标识别，确定家电大体位于空间的位置，随后再对每个家电的位置，用nerf分别渲染出来数个在不同位置面向家电的视角，根据双目摄像头的深度感知原理，以得到家电的空间信息：i.目标识别：首先，需要在图像中识别出各种家电，这可以通过深度学习中的目标识别算法实现，例如YOLO、SSD或者Faster R
‑
CNN等，这些算法能够在图像中识别出预先定义好的物体类别，并给出它们在图像中的位置(通常以一个包围盒表示)；
ii.空间定位：接下来，需要确定每个家电在三维空间中的位置。为了实现这一点，可以利用NeRF模型的能力，首先，针对每个被识别出来的家电，可以将其包围盒中的每一个像素点的深度信息作为输入，通过NeRF模型得到对应的三维坐标，这样，就可以得到每个家电在三维空间中的粗略位置；iii.视角渲染与深度感知：为了获取家电的精确三维信息，可以使用NeRF模型从不同的视角渲染出家电的图像，这类似于双目摄像头或多视图立体视觉的原理，通过比较同一个物体在不同视角下的图像，可以计算出物体的深度信息，在这个过程中，NeRF模型能够生成任意视角的图像，因此可以提供足够的视角进行深度感知；iv.三维建模：在得到家电的精确三维位置后，还可以进一步使用NeRF模型对家电进行三维建模，具体来说，可以将家电的每个部分作为输入，通过NeRF模型得到该部分在三维空间中的形状和颜色，这样...

【专利技术属性】
技术研发人员：高辰宇，姚旭泽，
申请(专利权)人：高辰宇，
类型：发明
国别省市：