本发明专利技术公开了一种图像处理方法、装置及计算机可读存储介质。该方法包括：获取第一图像采集设备采集的第一图像；提取第一图像中第一对象的多模态信息，其中，多模态信息对应不同的信息来源，多模态信息包括多项信息内容；将多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出第一图像中第一对象的第一多模态融合特征。本发明专利技术解决了在相关技术中，在目标对象被遮挡时，存在因信息缺失而无法对目标对象进行特征提取的技术问题；通过将重构结果渲染到AR/VR显示设备，本发明专利技术还可应用于虚拟现实领域。实领域。实领域。
【技术实现步骤摘要】
图像处理方法、装置及计算机可读存储介质
[0001]本专利技术涉及数据处理领域，具体而言，涉及一种图像处理方法、装置及计算机可读存储介质。
技术介绍
[0002]相关技术中，可以基于对目标对象的特征提取，可以实现对目标对象的跟踪。例如，以目标对象为车辆为例，通常可以从车辆图像中提取车辆的信息，基于提取的车辆的信息获取车辆特征，但这种方法存在如下问题：当车辆被障碍物遮挡时无法正常捕捉车辆图像，进而导致无法对车辆进行特征提取。即，在相关技术中，存在在目标对象被遮挡时，无法对目标对象进行特征提取的问题。
[0003]针对上述的问题，目前尚未提出有效的解决方案。
技术实现思路
[0004]本专利技术实施例提供了一种像处理方法、装置及计算机可读存储介，以至少解决在相关技术中，在目标对象被遮挡时，存在因信息缺失而无法对目标对象进行特征提取的技术问题。
[0005]根据本专利技术实施例的一个方面，提供了一种图像处理方法，包括：获取第一图像采集设备采集的第一图像；提取所述第一图像中第一对象的多模态信息，其中，所述多模态信息对应不同的信息来源，所述多模态信息包括多项信息内容；将所述多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于所述多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出所述第一图像中所述第一对象的第一多模态融合特征。
[0006]可选地，所述方法还包括：获取第二图像采集设备采集的第二图像，以及重构出所述第二图像中第二对象的第二多模态融合特征，其中，所述第二图像采集设备为与所述第一图像采集设备相邻的采集设备，所述第一图像采集设备与所述第二图像采集设备的图像采集区域存在重合部分，所述第一图像和所述第二图像为所述重合部分在相同时刻的图像；基于所述第一多模态融合特征和所述第二多模态融合特征，确定所述第一对象和所述第二对象是否为同一目标对象。
[0007]可选地，所述基于所述第一多模态融合特征和所述第二多模态融合特征，确定所述第一对象和所述第二对象是否为同一目标对象，包括：基于所述第一多模态融合特征和所述第二多模态融合特征，确定所述第一对象与所述第二对象之间的匹配度；基于所述匹配度以及预定匹配度阈值，确定所述第一对象和所述第二对象是否为同一目标对象。
[0008]可选地，所述基于所述匹配度以及预定匹配度阈值，确定所述第一对象和所述第二对象是否为同一目标对象，包括：在所述匹配度大于所述预定匹配度阈值的情况下，获取所述第一多模态融合特征中所包括的所述多项信息内容中至少一项信息内容的第一特征值，以及所述第二多模态融合特征中所述至少一项信息内容的第二特征值；获取所述第一
特征值与所述第二特征值之间的特征差值；在所述特征差值小于预定差值阈值的情况下，确定所述第一对象和所述第二对象为同一目标对象。
[0009]可选地，所述基于所述多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出所述第一图像中所述第一对象的第一多模态融合特征，包括：将所述多项信息内容分别对应的特征序列输入采用递归神经网络的编解码模型中的编码器中进行特征嵌入操作，得到编码后的特征序列；将编码后的特征序列输入所述编解码模型中的解码器中，基于所述特征序列之间的关联关系，重构出所述第一图像中所述第一对象的所述第一多模态融合特征。
[0010]可选地，所述提取所述第一图像中第一对象的多模态信息，包括：基于图像与预定地图的映射关系，确定所述第一图像中所述第一对象在所述预定地图上的定位信息，其中，所述定位信息包括：定位位置和瞬时速度；基于所述预定地图的地图约束条件，确定所述第一对象的道路信息，其中，所述道路信息包括：道路位置，运动方向和方位角；基于所述第一图像对应的雷达数据，确定所述第一对象的雷达信息，其中，所述雷达信息包括：雷达路径和路径速度；其中，所述多模态信息包括所述定位信息，所述道路信息和所述雷达信息。
[0011]可选地，所述将所述多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列，包括：确定所述第一图像对应的目标时刻；获取时间上连续且包括所述目标时刻在内的多个时刻对应的多个图像，其中，所述多个时刻对应的总长度为所述预定长度；分别提取所述多个图像所包括的所述多项信息内容对应的特征；将所述多个图像所包括的所述多项信息内容分别对应的特征，基于时间顺序，形成特征序列。
[0012]可选地，所述第一图像包括多模态中缺失至少一模态的图像，或者存在噪声干扰的图像。
[0013]根据本专利技术实施例的另一方面，还提供了一种图像处理方法，包括：在交互界面上显示图像接收控件；响应于对所述图像接收控件的操作，接收第一图像并获取所述第一图像的多模态信息，其中，所述多模态信息对应不同的信息来源，所述多模态信息包括多项信息内容；接收特征提取指令；响应于所述特征提取指令，在所述交互界面上显示所述第一图像中所述第一对象的第一多模态融合特征，其中，所述第一对象基于所述第一图像的多模态融合特征确定，所述多模态融合特征由所述多项信息内容分别对应的特征序列以及特征序列之间的关联关系重构得到，所述多项信息内容分别对应的特征序列为由所述多项信息内容分别扩展为时序上预定长度的特征序列。
[0014]根据本专利技术实施例的另一方面，还提供了一种图像处理方法，包括：获取虚拟现实VR设备或增强现实AR设备上展示的第一图像；提取所述第一图像中第一对象的多模态信息，其中，所述多模态信息对应不同的信息来源，所述多模态信息包括多项信息内容；将所述多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于所述多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出所述第一图像中所述第一对象的多模态融合特征；驱动所述VR设备或所述AR设备展示所述第一图像中所述第一对象的多模态融合特征。
[0015]根据本专利技术实施例的另一方面，还提供了一种图像处理装置，包括：获取模块，用于获取第一图像采集设备采集的第一图像；提取模块，用于提取所述第一图像中第一对象的多模态信息，其中，所述多模态信息对应不同的信息来源，所述多模态信息包括多项信息
内容；扩展模块，用于将所述多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；重构模块，用于基于所述多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出所述第一图像中所述第一对象的第一多模态融合特征。
[0016]根据本专利技术实施例的另一方面，还提供了一种计算机可读存储介质，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行上述任意一项所述的图像处理方法。
[0017]根据本专利技术实施例的另一方面，还提供了一种计算机设备，包括：存储器和处理器，所述存储器存储有计算机程序；所述处理器，用于执行所述存储器中存储的计算机程序，所述计算机程序运行时使得所述处理器执行上述任意一项所述的图像处理方法。
[0018]在本可选实施例中，通过获取第一图像采集设备采集的第一图像；提取第一图像本文档来自技高网...
【技术保护点】
【技术特征摘要】
1.一种图像处理方法，其特征在于，包括：获取第一图像采集设备采集的第一图像；提取所述第一图像中第一对象的多模态信息，其中，所述多模态信息对应不同的信息来源，所述多模态信息包括多项信息内容；将所述多模态信息所包括的多项信息内容分别扩展为时序上预定长度的特征序列；基于所述多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出所述第一图像中所述第一对象的第一多模态融合特征。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：获取第二图像采集设备采集的第二图像，以及重构出所述第二图像中第二对象的第二多模态融合特征，其中，所述第二图像采集设备为与所述第一图像采集设备相邻的采集设备，所述第一图像采集设备与所述第二图像采集设备的图像采集区域存在重合部分，所述第一图像和所述第二图像为所述重合部分在相同时刻的图像；基于所述第一多模态融合特征和所述第二多模态融合特征，确定所述第一对象和所述第二对象是否为同一目标对象。3.根据权利要求2所述的方法，其特征在于，所述基于所述第一多模态融合特征和所述第二多模态融合特征，确定所述第一对象和所述第二对象是否为同一目标对象，包括：基于所述第一多模态融合特征和所述第二多模态融合特征，确定所述第一对象与所述第二对象之间的匹配度；基于所述匹配度以及预定匹配度阈值，确定所述第一对象和所述第二对象是否为同一目标对象。4.根据权利要求3所述的方法，其特征在于，所述基于所述匹配度以及预定匹配度阈值，确定所述第一对象和所述第二对象是否为同一目标对象，包括：在所述匹配度大于所述预定匹配度阈值的情况下，获取所述第一多模态融合特征中所包括的所述多项信息内容中至少一项信息内容的第一特征值，以及所述第二多模态融合特征中所述至少一项信息内容的第二特征值；获取所述第一特征值与所述第二特征值之间的特征差值；在所述特征差值小于预定差值阈值的情况下，确定所述第一对象和所述第二对象为同一目标对象。5.根据权利要求1所述的方法，其特征在于，所述基于所述多项信息内容分别对应的特征序列以及特征序列之间的关联关系，重构出所述第一图像中所述第一对象的第一多模态融合特征，包括：将所述多项信息内容分别对应的特征序列输入采用递归神经网络的编解码模型中的编码器中进行特征嵌入操作，得到编码后的特征序列；将编码后的特征序列输入所述编解码模型中的解码器中，基于所述特征序列之间的关联关系，重构出所述第一图像中所述第一对象的所述第一多模态融合特征。6.根据权利要求1所述的方法，其特征在于，所述提取所述第一图像中第一对象的多模态信息，包括：基于图像与预定地图的映射关系，确定所述第一图像中所述第一对象在所述预定地图上的定位信息，其中，所述定位信息包括：定位位置和瞬时速度；
基于所述预定地图的地图约束条件，确定所述第一对象的道路信息，其中，所述道路信息包括：道路位置，运动方向和方位角；基于所述第一图像对应的雷达数据，确定所述第一对象的雷达信息，其中，所述雷达信息包括：雷达路径和路径速...
【专利技术属性】
技术研发人员：周橹楠，危春波，毛泉涌，吴婷，杨吉锐，
申请(专利权)人：阿里巴巴中国有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。