图像处理方法、装置、设备和存储介质制造方法及图纸

本公开的实施例提供图像处理方法、装置、设备和计算机可读存储介质。在该方法中，获取与目标空间相关联的第一组图像，其中第一组图像按照预定拼接关系被拼接，用以组成目标空间的三维全景图像；通过将第一图像按照预定拼接关系与第一组图像拼接，来生成第二组图像，其中第一图像是第一组图像中的第二图像的复制；以及在第二组图像中检测目标空间中的目标对象。以此方式，可以提高对象检测的准确度和效率。率。率。

【技术实现步骤摘要】
图像处理方法、装置、设备和存储介质


[0001]本公开的示例实施例总体涉及图像处理，并且更具体地，涉及图像处理方法、装置、设备和计算机可读存储介质。

技术介绍

[0002]全景图像可以提供室内外场景的广角视图，例如，可以呈现特定场景中水平360
°
、俯仰180
°
等角度的视觉信息。这种新颖的图像展现方式正在被各行各业所应用。例如，旅游、房产、酒店、展览等行业都使用了全景图像展示。例如，在房屋租售、装修和建模等领域，可以由采集人员在现场采集房屋的全景图像，并且由此构建房屋的三维模型。利用该三维模型，可以进行房屋的虚拟现实(VR)展示。期望可以修改房屋中某个对象的展示效果，以提供个性化展示。

技术实现思路

[0003]在本公开的第一方面，提供一种图像处理方法。该方法包括：获取与目标空间相关联的第一组图像，其中第一组图像按照预定拼接关系被拼接，用以组成目标空间的三维全景图像；通过将第一图像按照预定拼接关系与第一组图像拼接，来生成第二组图像，其中第一图像是第一组图像中的第二图像的复制；以及在第二组图像中检测目标空间中的目标对象。
[0004]在本公开的第二方面，提供一种图像处理装置。该装置包括：图像获取模块，被配置为获取与目标空间相关联的第一组图像，其中第一组图像按照预定拼接关系被拼接，用以组成目标空间的三维全景图像；拼接模块，被配置为通过将第一图像按照预定拼接关系与第一组图像拼接，来生成第二组图像，其中第一图像是第一组图像中的第二图像的复制；以及对象检测模块，被配置为在第二组图像中检测目标空间中的目标对象。
[0005]在本公开的第三方面，提供了一种电子设备。该电子设备包括至少一个处理单元；以及至少一个存储器，至少一个存储器被耦合到至少一个处理单元并且存储用于由至少一个处理单元执行的指令。指令在由至少一个处理单元执行时使电子设备执行根据本公开的第一方面的方法。
[0006]在本公开的第四方面，提供了一种计算机可读存储介质。该计算机可读存储介质上存储有计算机程序，计算机程序可由处理器执行以执行根据本公开的第一方面的方法。
[0007]应当理解，此部分中所描述的内容并非旨在限定本公开的实施例的关键特征或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的描述而变得容易理解。
附图说明
[0008]在下文中，结合附图并参考以下详细说明，本公开各实现方式的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标记表示相同或相似的元素，其
中：
[0009]图1示出了本公开的实施例能够在其中实现的示例环境的示意图；
[0010]图2示出了根据本公开的一些实施例的图像处理过程的流程图；
[0011]图3示出了根据本公开的一些实施例的YOLOX网络的示例结构的示意图；
[0012]图4示出了根据本公开的一些实施例的训练用于检测目标区域和目标对象的关键点的网络的示例过程的流程图；
[0013]图5示出了根据本公开的一些实施例的图像检测的示例过程的流程图；
[0014]图6示出了根据本公开的一些实施例的被检测的示例图像的示意图；
[0015]图7示出了根据本公开的一些实施例的全景图像的示例坐标系的示意图；
[0016]图8示出了根据本公开的一些实施例的示例图像检测结果的示意图；
[0017]图9示出了根据本公开的一些实施例的图像处理装置的示意性结构框图；以及
[0018]图10示出了能够被用来实现本公开一些实施例的电子设备的框图。
具体实施方式
[0019]下面将参照附图更详细地描述本公开的实施例。虽然附图中示出了本公开的一些实施例，然而应当理解的是，本公开可以通过各种形式来实现，而且不应该被解释为限于这里阐述的实施例，相反，提供这些实施例是为了更加透彻和完整地理解本公开。应当理解的是，本公开的附图及实施例仅用于示例性作用，并非用于限制本公开的保护范围。
[0020]在本公开的实施例的描述中，术语“包括”及其类似用语应当理解为开放性包含，即“包括但不限于”。术语“基于”应当理解为“至少部分地基于”。术语“一个实施例”或“该实施例”应当理解为“至少一个实施例”。术语“一些实施例”应当理解为“至少一些实施例”。下文还可能包括其它明确的和隐含的定义。
[0021]术语“响应于”表示相应的事件发生或者条件得以满足。将会理解，响应于该事件或者条件而被执行的后续动作的执行时机，与事件发生或者条件满足的时间，这二者不一定是强关联的。在某些情况下，后续动作可在事件发生或者条件成立时立即被执行；在另一些情况下，后续动作也可在事件发生或者条件成立后经过一段时间才被执行。
[0022]可以理解的是，本技术方案所涉及的数据(包括但不限于数据本身、数据的获得或使用)应当遵循相应法律法规及相关规定的要求。
[0023]可以理解的是，在使用本公开各实施例公开的技术方案之前，均应当根据相关法律法规通过适当的方式对本公开所涉及个人信息的类型、使用范围、使用场景等告知用户并获得用户的授权。
[0024]例如，在响应于接收到用户的主动请求时，向用户发送提示信息，以明确地提示用户，其请求执行的操作将需要获得和使用到用户的个人信息，从而使得用户可以根据提示信息来自主地选择是否向执行本公开技术方案的操作的电子设备、应用程序、服务器或存储介质等软件或硬件提供个人信息。
[0025]作为一种可选的但非限制性的实现方式，响应于接收到用户的主动请求，向用户发送提示信息的方式，例如可以是弹出窗口的方式，弹出窗口中可以以文字的方式呈现提示信息。此外，弹出窗口中还可以承载供用户选择“同意”或“不同意”向电子设备提供个人信息的选择控件。
[0026]可以理解的是，上述通知和获得用户授权过程仅是示意性的，不对本公开的实现方式构成限定，其它满足相关法律法规的方式也可应用于本公开的实现方式中。
[0027]随着虚拟现实(VR)技术的发展，VR看房变得越来越普及。可以通过在房屋的三维模型(例如，mesh模型)上贴上房屋的全景图像来实现房屋的VR展示。在房屋的VR展示过程中，可以在房屋内的某个物体或者设施上实现个性化展示，例如，可以展示预定内容。作为示例，在房屋的VR展示过程中，可以在房间的电视上播放广告。期望能够准确地检测和识别出房屋中的目标对象。
[0028]一种可能的方式是在三维mesh模型上进行识别。但是，这种方式的计算量较大。例如，为了在三维模型上每个角度的观察点都能看到个性化展示的内容，需要针对各个观察点进行计算，这样计算量会很大。另外，这种识别方式的准确度可能不够。由于目前三维模型精度有限，实际展示还需要进行全景图像贴图，所以基于三维模型的计算准确度有限。
[0029]本公开的实施例提出了一种目标检测方案。该方案基于目标空间(例如，房屋)的三维全景图像来识别目标对象(例如，电视)。根据该方案，由该三维全景图像展开形成的具有本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种图像处理方法，包括：获取与目标空间相关联的第一组图像，其中所述第一组图像按照预定拼接关系被拼接，用以组成所述目标空间的三维全景图像；通过将第一图像按照所述预定拼接关系与所述第一组图像拼接，来生成第二组图像，其中所述第一图像是所述第一组图像中的第二图像的复制；以及在所述第二组图像中检测所述目标空间中的目标对象。2.根据权利要求1所述的方法，其中所述三维全景图像是六面体图像，并且所述第一组图像被拼接成十字形。3.根据权利要求1所述的方法，其中所述第二图像位于所述第一组图像的第一边缘，并且所述第一图像与位于所述第一组图像的第二边缘的第三图像被拼接，所述第二边缘与所述第一边缘相对。4.根据权利要求1所述的方法，其中在所述第二组图像中检测所述目标对象包括：在所述第二组图像中检测与所述目标对象相关联的目标区域；以及在所述目标区域中检测所述目标对象的多个关键点。5.根据权利要求4所述的方法，其中检测所述目标区域包括：在所述第二组图像中检测到与所述目标对象相关联的多个目标区域；确定所述多个目标区域中存在重复的目标区域；以及基于所述重复的目标区域的准确度来从所述重复的目标区域选择要保留的目标区域。6.根据权利要求5所述的方法，其中确定存在重复的目标区域包括：响应于确定所述多个目标区域中的两个目标区域分别位于所述第一图像和所述第二图像中，则确定所述两个目标区域为重复的目标区域。7.根据权利要求6所述的方法，其中选择所述要保留的目标区域包括：响应于确定所述重复的目标区域的准确度之间的差值低...

【专利技术属性】
技术研发人员：王凌云，
申请(专利权)人：北京有竹居网络技术有限公司，
类型：发明
国别省市：