【技术实现步骤摘要】
【国外来华专利技术】图像处理方法和装置版权申明本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者该专利披露。
本申请涉及图像处理领域，尤其涉及一种图像处理方法和装置。
技术介绍
在视频监控、人机互动、安全巡视等场景中，重点关注的物体(包括人物、动物、植物、公共设施、交通工具或景观、景物等)通常需要被标识出来，以便解码端或观测者更好地跟踪该物体在视频流中的变化，从而更好地辅助观测者对该物体进行观测或与其进行互动。图像处理中的这类方法一般可以被称为物体跟踪(objecttracking)技术。现有的物体跟踪技术，通常利用图像处理、计算机视觉以及计算机分析与理解等技术识别出视频流的内容，并将需要重点关注的物体标识出来。现有的方案，在编码端或解码端通过矩形区域标识每一帧图像中重点关注的物体的位置和尺寸。解码端基于矩形区域执行额外操作，处理效果差，处理效率低。
技术实现思路
本申请提供了一种图像处理方法和装置，使得解码...
【技术保护点】
1.一种图像处理方法，其特征在于，包括：/n获取当前图像的码流数据，所述码流数据中包括标识信息，所述标识信息用于标识所述当前图像中的至少一个目标物体，所述标识信息包括图像区域信息和像素信息，所述图像区域信息包括所述目标物体所在的图像区域的位置和尺寸，所述像素信息包括所述图像区域中的至少一个像素的属性；/n对所述码流数据进行解码，得到所述当前图像和所述标识信息；/n根据所述标识信息，对所述当前图像进行像素级别处理。/n
【技术特征摘要】
【国外来华专利技术】1.一种图像处理方法，其特征在于，包括：
获取当前图像的码流数据，所述码流数据中包括标识信息，所述标识信息用于标识所述当前图像中的至少一个目标物体，所述标识信息包括图像区域信息和像素信息，所述图像区域信息包括所述目标物体所在的图像区域的位置和尺寸，所述像素信息包括所述图像区域中的至少一个像素的属性；
对所述码流数据进行解码，得到所述当前图像和所述标识信息；
根据所述标识信息，对所述当前图像进行像素级别处理。
2.根据权利要求1所述的方法，其特征在于，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
根据所述标识信息，更改所述当前图像的显示内容。
3.根据权利要求1或2所述的方法，其特征在于，所述至少一个像素的属性包括所述至少一个像素是否属于所述目标物体。
4.根据权利要求3所述的方法，其特征在于，所述方法还包括：
获取第一图像；
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
基于所述标识信息对所述当前图像和所述第一图像进行融合处理，得到第二图像，所述第二图像包括所述当前图像的至少部分内容和所述第一图像的至少部分内容。
5.根据权利要求4所述的方法，其特征在于，所述基于所述标识信息对所述当前图像和所述第一图像进行融合处理，包括：
基于所述标识信息对所述当前图像和所述第一图像进行加权求与，其中所述当前图像中所述目标物体对应的像素的加权值与所述当前图像中除所述目标物体以外的至少部分像素的加权值不同。
6.根据权利要求4或5所述的方法，其特征在于，所述基于所述标识信息对所述当前图像和所述第一图像进行融合处理，包括：
根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素；
用所述第一图像中的相应像素替换所述当前图像中不属于所述目标物体的像素，得到第二图像。
7.根据权利要求6所述的方法，其特征在于，所述像素信息中，所述至少一个像素被赋予不同的数值，
所述根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素，包括：
根据所述图像区域信息，将所述目标物体所在的图像区域以外的像素确定为所述当前图像中不属于所述目标物体的像素；
当所述像素信息中第一部分像素对应第一数值时，确定所述第一部分像素不属于所述目标物体。
8.根据权利要求7所述的方法，其特征在于，在所述根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素之前，所述方法还包括：
根据所述像素信息，确定所述目标物体的边界，基于所述边界对所述目标物体进行膨胀运算；
所述根据所述图像区域信息和所述像素信息，确定所述当前图像中不属于所述目标物体的像素，包括：
根据所述图像区域信息、所述像素信息和膨胀后的所述目标物体的边界，确定所述当前图像中不属于所述目标物体的像素。
9.根据权利要求4至8中任一项所述的方法，其特征在于，所述当前图像的拍摄角度与所述第一图像的拍摄角度相同。
10.根据权利要求9所述的方法，其特征在于，所述标识信息中还包括视角信息，所述视角信息用于指示所述目标物体相对拍摄装置的拍摄角度；
在所述用第一图像中的相应像素替换所述当前图像中不属于所述目标物体的像素之前，所述方法还包括：
确定所述目标物体的拍摄角度与所述第一图像的拍摄角度相同。
11.根据权利要求3所述的方法，其特征在于，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体，对所述目标物体添加增强现实AR特效。
12.根据权利要求11所述的方法，其特征在于，所述标识信息中还包括视角信息，所述视角信息用于指示所述目标物体相对拍摄装置的拍摄角度，所述至少一个像素的属性还包括所述至少一个像素对应的深度值；
所述根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体，对所述目标物体添加AR特效，包括：
根据所述图像区域信息和所述像素信息，确定所述当前图像中的所述目标物体；
根据所述目标物体、所述拍摄角度和所述至少一个像素对应的深度值，对所述目标物体添加AR特效。
13.根据权利要求3所述的方法，其特征在于，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
根据所述图像区域信息和所述像素信息，确定所述当前图像中属于所述目标物体的像素或所述当前图像中不属于所述目标物体的非目标物体的像素；
改变所述目标物体的亮度、颜色和灰度中的至少一种，或改变所述非目标物体的亮度、颜色和灰度中的至少一种，或改变所述目标物体和所述非目标物体的对比度。
14.根据权利要求13所述的方法，其特征在于，
所述改变所述目标物体的亮度或颜色，或改变所述非目标物体的亮度或颜色，包括：
通过修改所述目标物体或所述非目标物体的YUV值、RGB值或γ曲线，来改变所述目标物体的亮度或颜色，或改变所述非目标物体的亮度或颜色。
15.根据权利要求1、3、13或14所述的方法，其特征在于，所述标识信息中还包括内容信息，用于指示所述目标物体的内容类别。
16.根据权利要求15所述的方法，其特征在于，
所述改变所述目标物体的亮度、颜色和灰度中的至少一种，包括：
当所述目标物体为第一内容类别时，改变所述目标物体的亮度为预设的第一亮度值、改变所述目标物体的颜色为预设的第一颜色值、或改变所述目标物体的灰度为预设的第一灰度值。
17.根据权利要求15所述的方法，其特征在于，所述当前图像中包括多个所述目标物体，
所述改变所述目标物体的亮度、颜色和灰度中的至少一种，包括：
根据多个所述目标物体的内容类别，对不同内容类别的所述目标物体赋予不同的亮度值、颜色值或灰度值。
18.根据权利要求15所述的方法，其特征在于，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
根据所述图像区域信息、所述像素信息和所述内容类别，基于所述当前图像生成物体类别分割图像。
19.根据权利要求15至18中任一项所述的方法，所述内容信息为标签label或数值。
20.根据权利要求1或2所述的方法，其特征在于，所述至少一个像素的属性包括所述至少一个像素所属的所述目标物体的部位。
21.根据权利要求1、2或20所述的方法，其特征在于，所述像素信息中，所述至少一个像素被赋予不同的数值，以表示所述至少一个像素属于所述目标物体的不同部位。
22.根据权利要求1、2、20或21所述的方法，其特征在于，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
根据所述图像区域信息和所述像素信息，对所述目标物体的不同部位用不同的亮度、颜色或灰度标识，或者不同部位之间具有不同的对比度。
23.根据权利要求1至3中任一项所述的方法，其特征在于，所述至少一个像素的属性包括所述至少一个像素对应的描述特征。
24.根据权利要求23所述的方法，其特征在于，所述至少一个像素对应的描述特征包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值。
25.根据权利要求24所述的方法，其特征在于，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括以下中的至少一种：
根据所述图像区域信息、所述像素信息和所述至少一个像素对应的点云的反射强度，基于所述当前图像生成反射强度分割图像；
根据所述图像区域信息、所述像素信息和所述至少一个像素对应的红外强度，基于所述当前图像生成红外图像；
根据所述图像区域信息、所述像素信息和所述至少一个像素对应的深度值，基于所述当前图像生成深度图。
26.根据权利要求24所述的方法，其特征在于，所述当前图像中包括多个所述目标物体，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
根据多个所述目标物体的反射强度、红外强度或深度值，对不同反射强度、红外强度或深度值的所述目标物体赋予不同的亮度值、颜色值和灰度值。
27.根据权利要求1所述的方法，其特征在于，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
根据所述标识信息，对所述当前图像中的数据信息进行统计。
28.根据权利要求1或27所述的方法，其特征在于，所述标识信息中还包括内容信息，用于指示所述目标物体的内容类别。
29.根据权利要求28所述的方法，其特征在于，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果。
30.根据权利要求1、27或28所述的方法，其特征在于，所述目标物体是人，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
当所述像素信息中第一部分像素对应第三数值时，确定所述第一部分像素属于所述目标物体的头部；
根据所述目标物体的头部，进行人物表情识别；
和/或，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
当所述像素信息中第二部分像素对应第四数值时，确定所述第二部分像素属于所述目标物体的手部；
根据所述目标物体的手部，进行手部动作识别。
31.根据权利要求30所述的方法，其特征在于，所述方法还包括：
基于人物表情识别的结果或手部动作识别的结果，向无人机发送控制指令。
32.根据权利要求1、27或28所述的方法，其特征在于，所述目标物体是车，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
当所述像素信息中第一部分像素对应第五数值时，确定所述第一部分像素属于所述目标物体的车头；
根据所述目标物体的车头，确定所述目标物体的行驶方向；
和/或，
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
当所述像素信息中第一部分像素对应第六数值时，确定所述第二部分像素属于所述目标物体的车尾；
根据所述目标物体的车尾，确定所述目标物体的行驶方向。
33.根据权利要求29所述的方法，其特征在于，
所述根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果，包括：
对所述当前图像中内容类别为人的目标物体进行统计，获得人流量结果和/或人流密度结果。
34.根据权利要求29所述的方法，其特征在于，
所述根据所述目标物体的内容类别，对所述当前图像中的所述目标物体进行统计，得到统计结果，包括：
对所述当前图像中内容类别为车的目标物体进行统计，获得车流量结果和/或车流密度结果。
35.根据权利要求1或27所述的方法，其特征在于，所述至少一个像素对应的描述特征包括以下中的至少一种：所述至少一个像素对应的点云的反射强度、所述至少一个像素对应的红外强度和所述至少一个像素对应的深度值；
所述根据所述标识信息，对所述当前图像进行像素级别处理，包括：
根据所述描述特征，对所述当前图像中的所述目标物体进行统计，得到统计结果。
36.根据权利要求27或35所述的方法，其特征在于，所述方法还包括：
根据所述统计结果，生成针对所述目标物体的所述统计结果的热力图。
37.根据权利要求1至36中任一项所述的方法，其特征在于，所述属性以像素块为计量单位，所述像素信息包括至少一个像素块的属性的信息，所述像素块包括至少两个像素。
38.根据权利要求1至37中任一项所述的方法，其特征在于，所述标识信息位于所述当前图像的辅助强化信息或扩展数据中。
39.一种图像处理装置，其特征在于，包括：
至少一个存储器，用于存储计算机可执行指令；
至少一个处理器，单独或共同地用于：访问所述至少一个存储器，并执行所述计算机可执行指令，以实施以下操作：
获取当前图像的码流数据，所述码流数据中包括标识信息，所述...
【专利技术属性】
技术研发人员：郑萧桢，封旭阳，张李亮，赵丛，
申请(专利权)人：深圳市大疆创新科技有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。