【技术实现步骤摘要】
以下描述涉及具有图像处理的方法和装置。
技术介绍
1、基于深度学习的神经网络可以用于图像处理。神经网络可以基于深度学习来训练，并且可以通过将处于非线性关系的输入数据和输出数据彼此映射来执行用于所期望目的的推理。生成映射的这种训练能力可以被称为神经网络的学习能力。
技术实现思路
1、提供本
技术实现思路
以用简化形式介绍对下面在具体实施方式中进一步描述的构思的选择。本
技术实现思路
不意在标识所请求保护的主题的关键特征或必要特征，也不意在帮助确定所请求保护的主题的范围。
2、在一个总体方面，一种处理器实现的方法可以包括：在运动传感器相对于由图像传感器捕获的第一图像帧和后续第二图像帧检测到表示图像传感器的运动的运动数据的情况下，使用变换确定神经网络模型来估计变换模型，以基于第一图像帧和第二图像帧之间的全局运动来执行变换；以及通过使用变换模型组合第一图像帧和第二图像帧来生成输出图像数据。
3、该方法还可以包括：使用图像传感器来生成包括第一图像帧和第二图像帧的输入图像数据；以及使用运动传感器来生成运动数据；通过使用变换模型将第一图像帧和第二图像帧编码为对应于输出图像数据的视频数据来执行输出图像数据的生成。
4、视频数据可以包括第一图像帧的像素块与第二图像帧的像素块之间的匹配数据，并且其中，编码可以包括：通过使用变换模型来设置第二图像帧的用于第一图像帧的第一像素块的块匹配的搜索区域；以及在第二图像帧的搜索区域中搜索与第一像素块相匹配的第二像素块。
5、
6、搜索区域的设置可以包括：通过使用变换模型将第一图像帧的根据第一图像帧的第一像素块的搜索区域变换为第二图像帧的搜索区域。
7、输出图像数据的生成可以包括：通过使用变换模型补偿第一图像帧和第二图像帧之间的全局运动来生成对应于输出图像数据的照片数据。
8、运动数据可以包括根据图像传感器在第一时间和第二时间之间的运动的加速度数据和角速度数据中的至少一些数据。
9、在该方法中，运动传感器的第一感测周期小于图像传感器的第二感测周期，并且其中，通过组合在第二感测周期期间收集的运动传感器的输出数据而生成的运动数据被输入到变换确定神经网络模型。
10、该方法还可以包括：通过使用训练数据对训练中的变换确定神经网络模型进行训练来生成变换确定神经网络模型，该训练数据基于感测结果，该感测结果是通过相对于由图像传感器捕获的测试图案的训练图像由运动传感器感测图像传感器的对应运动而获得的。
11、该方法还可以包括通过以下方式来生成神经网络模型：通过对经由图像传感器捕获所提供的测试图案而获得的测试图像数据执行视觉分析来确定第一测试变换模型；通过将在图像传感器捕获所提供的测试图案的同时经由运动传感器感测图像传感器的运动而获得的测试运动数据输入到神经网络模型来估计第二测试变换模型；确定与第一测试变换模型和第二测试变换模型之间的差异相对应的第一损失数据；以及通过基于第一损失数据对训练中的变换确定神经网络模型进行训练来生成变换确定神经网络模型。
12、该方法还可以包括通过以下方式来生成神经网络模型：通过使用第一测试变换模型对附加测试图像进行变换来生成第一结果图像；通过使用第二测试变换模型对附加测试图像进行变换来生成第二结果图像；确定与第一结果图像和第二结果图像之间的差异相对应的第二损失数据；以及通过基于第一损失数据和第二损失数据对训练中的变换确定神经网络模型进行训练来生成变换确定神经网络模型。
13、一种存储指令的非暂时性计算机可读存储介质，该指令当由处理器执行时使处理器执行上述方法。
14、在另一个总体方面，一种电子设备可以包括一个或多个处理器，该一个或多个处理器被配置为：在运动传感器相对于由图像传感器捕获的第一图像帧和后续第二图像帧检测到表示图像传感器的运动的运动数据的情况下，使用变换确定神经网络模型来估计变换模型，以基于第一图像帧和第二图像帧之间的全局运动来执行变换；以及通过使用变换模型组合第一图像帧和第二图像帧来生成输出图像数据。
15、该电子设备还可以包括：图像传感器，被配置为生成包括第一图像帧和第二图像帧的输入图像数据；运动传感器，被配置为生成运动数据；以及其中，该一个或多个处理器可以包括编解码器，该编解码器被配置为使用变换模型将第一图像帧和第二图像帧编码为对应于输出图像数据的视频数据。
16、视频数据可以包括第一图像帧的像素块与第二图像帧的像素块之间的匹配数据，并且其中，编解码器被配置为：通过使用变换模型来设置第二图像帧的用于第一图像帧的第一像素块的块匹配的搜索区域，并且在第二图像帧的搜索区域中搜索与第一图像帧的第一像素块相匹配的第二像素块。
17、为了设置搜索区域，编解码器可以被配置为：通过使用变换模型将第一图像帧的第一像素块的第一位置变换为第二图像帧的第二位置，并且根据第二位置来设置第二图像帧的搜索区域。
18、为了设置搜索区域，编解码器可以被配置为：通过使用变换模型将第一图像帧的根据第一图像帧的第一像素块的搜索区域变换为第二图像帧的搜索区域。
19、为了生成输出图像数据，该一个或多个处理器可以被配置为：通过使用变换模型补偿第一图像帧和第二图像帧之间的全局运动来生成对应于输出图像数据的照片数据。
20、在该电子设备中，运动传感器的第一感测周期小于图像传感器的第二感测周期，并且其中，通过组合在第二感测周期期间收集的运动传感器的输出数据而生成的运动数据被输入到变换确定神经网络模型。
21、可以通过使用训练数据对训练中的变换确定神经网络模型进行训练来生成变换确定神经网络模型，该训练数据基于感测结果，该感测结果是通过相对于由图像传感器捕获的测试图案的训练图像由运动传感器感测图像传感器的对应运动而获得的。
22、通过以下详细描述、附图和权利要求，其他特征和方面将是显然的。
本文档来自技高网...【技术保护点】
1.一种处理器实现的方法，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求2所述的方法，
4.根据权利要求3所述的方法，其中，所述搜索区域的设置包括：通过使用所述变换模型将所述第一图像帧的所述第一像素块的第一位置变换为所述第二图像帧的第二位置；以及
5.根据权利要求3所述的方法，其中，所述搜索区域的设置包括：通过使用所述变换模型将所述第一图像帧的根据所述第一图像帧的所述第一像素块的搜索区域变换为所述第二图像帧的所述搜索区域。
6.根据权利要求1所述的方法，其中，所述输出图像数据的生成包括：通过使用所述变换模型补偿所述第一图像帧和所述第二图像帧之间的全局运动来生成对应于所述输出图像数据的照片数据。
7.根据权利要求1所述的方法，其中，所述运动数据包括根据所述图像传感器在第一时间和第二时间之间的运动的加速度数据和角速度数据中的至少一些数据。
8.根据权利要求1所述的方法，
9.根据权利要求1所述的方法，还包括：通过使用训练数据对训练中的变换确定神经网络模型进行训练来生成所述
10.根据权利要求1所述的方法，还包括通过以下方式生成所述神经网络模型：
11.根据权利要求10所述的方法，还包括通过以下方式生成所述神经网络模型：
12.一种存储指令的非暂时性计算机可读存储介质，所述指令当由处理器执行时使所述处理器执行根据权利要求1所述的方法。
13.一种电子设备，包括：
14.根据权利要求13所述的电子设备，还包括：
15.根据权利要求14所述的电子设备，
16.根据权利要求15所述的电子设备，其中，为了设置所述搜索区域，所述编解码器被配置为：通过使用所述变换模型将所述第一图像帧的所述第一像素块的第一位置变换为所述第二图像帧的第二位置，并且根据所述第二位置来设置所述第二图像帧的所述搜索区域。
17.根据权利要求15所述的电子设备，其中，为了设置所述搜索区域，所述编解码器被配置为：通过使用所述变换模型将所述第一图像帧的根据所述第一图像帧的所述第一像素块的搜索区域变换为所述第二图像帧的所述搜索区域。
18.根据权利要求13所述的电子设备，其中，为了生成所述输出图像数据，所述一个或多个处理器被配置为：通过使用所述变换模型补偿所述第一图像帧和所述第二图像帧之间的全局运动来生成对应于所述输出图像数据的照片数据。
19.根据权利要求13所述的电子设备，
20.根据权利要求13所述的电子设备，其中，通过使用训练数据对训练中的变换确定神经网络模型进行训练来生成所述变换确定神经网络模型，其中所述训练数据基于感测结果，所述感测结果是通过相对于由所述图像传感器捕获的测试图案的训练图像由所述运动传感器感测所述图像传感器的对应运动而获得的。
...【技术特征摘要】
1.一种处理器实现的方法，包括：
2.根据权利要求1所述的方法，还包括：
3.根据权利要求2所述的方法，
4.根据权利要求3所述的方法，其中，所述搜索区域的设置包括：通过使用所述变换模型将所述第一图像帧的所述第一像素块的第一位置变换为所述第二图像帧的第二位置；以及
5.根据权利要求3所述的方法，其中，所述搜索区域的设置包括：通过使用所述变换模型将所述第一图像帧的根据所述第一图像帧的所述第一像素块的搜索区域变换为所述第二图像帧的所述搜索区域。
6.根据权利要求1所述的方法，其中，所述输出图像数据的生成包括：通过使用所述变换模型补偿所述第一图像帧和所述第二图像帧之间的全局运动来生成对应于所述输出图像数据的照片数据。
7.根据权利要求1所述的方法，其中，所述运动数据包括根据所述图像传感器在第一时间和第二时间之间的运动的加速度数据和角速度数据中的至少一些数据。
8.根据权利要求1所述的方法，
9.根据权利要求1所述的方法，还包括：通过使用训练数据对训练中的变换确定神经网络模型进行训练来生成所述变换确定神经网络模型，其中所述训练数据基于感测结果，所述感测结果是通过相对于由所述图像传感器捕获的测试图案的训练图像由所述运动传感器感测所述图像传感器的对应运动而获得的。
10.根据权利要求1所述的方法，还包括通过以下方式生成所述神经网络模型：
11.根据权利要求10所述的方法，还包括通过以下方式生成所述神经...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。