一种对图像进行编、解码的方法及设备技术

技术编号:9146271 阅读:136 留言:0更新日期:2013-09-12 07:22
本发明专利技术公开了一种对图像进行编、解码的方法及设备,主要内容包括:在摄像装置受到3A参数调节时,根据当前帧和实际参考帧之间受到3A参数调节后的内在联系或是演变关系,对实际参考帧进行处理后生成虚拟参考帧,进而根据虚拟参考帧来对当前帧进行编码。由于生成的虚拟参考帧可在一定程度上反映当前帧和实际参考帧之间的演变关系,更接近当前帧,因此,利用虚拟参考帧进行编码的编码质量较好。

【技术实现步骤摘要】
一种对图像进行编、解码的方法及设备
本专利技术涉及图像处理
,尤其涉及一种对图像进行编、解码的方法及设备。
技术介绍
当聚焦主体(即摄像装置拍摄的对象)或者拍摄环境发生较大变化时,需要对摄像装置(如数码相机、监控摄像头、手机摄像头等)进行相应调节,如根据视频3A参数对摄像装置进行调节,所述3A参数包括自动聚焦(AutoFocus,AF)参数、自动曝光(AutoExposure,AE)参数和自动白平衡(AutoWhiteBalance,AWB)参数。根据3A参数对摄像装置进行调节即为:AF部件输出AF参数对摄像装置进行调节,AE部件输出AE参数对摄像装置进行调节,AWB部件输出AWB参数对摄像装置进行调节。当摄像装置根据AF参数、AE参数或是AWB参数进行调节时,摄像装置采集并输出给图像编码部件的视频图像将会发生连续变化,若图像编码部件对接收到的连续变化的视频图像仍按照常规方式进行编码,则会由于对待编码的当前帧的图像预测编码模式(帧间预测编码模式或帧内预测编码模式)选择困难、参考帧与当前帧的相似度小以及编码质量因子不好确定等问题,导致编码的压缩率低,即当前帧编码的码率急剧升高,或在保证压缩率的情况下,即编码码率不变的情况下,会导致编码后图像细节损失较大,图像质量差的问题。例如,当聚焦主体的聚焦深度、聚焦位置发生变化时,摄像装置将根据AF参数对镜头焦距进行自动调节,由于摄像装置会出现失焦或聚焦,因此,摄像装置所采集的视频图像中不同物体会因其空间位置的不同(主要指视频图像中的物体相对于镜头远近的差异),导致编码后物体的大小和边缘细节发生较大变化,进而导致编码效果差。再例如,当拍摄图像的光照强度不变或是变化很小,但拍摄图像中物体不断发生变化,特别是距离摄像装置较近的物体不断发生变化时,或是拍摄图像的场景连续变化(如由拍摄室内场景慢慢转向室外场景,或是手持摄像装置移步换景拍摄)时,摄像装置将根据AE参数(拍摄图像亮度发生变化时)进行自动调节,或是根据AWB参数(拍摄图像颜色发生变化或是光源发生变化)进行自动调节,这些调节会显著增大参考帧和待编码的当前帧之间的差异,导致编码效果以及图像质量差。综上所述,当摄像装置根据AF、AE或AWB中至少一个参数进行自动调节后,由于摄像装置采集的视频图像发生连续变化,若仍按照目前的编码方式直接对采集的视频图像进行编码,则会由于对待编码的当前帧的图像预测模式选择困难、参考帧与当前帧的相似度小等问题,导致编码码率急剧升高,或是编码码率不变,但编码后图像细节损失较大,编码后图像质量差的问题。
技术实现思路
本专利技术实施例提供了一种对图像进行编、解码的方法及设备,用以解决现有技术中存在的当摄像装置受到3A参数调节后,编码码率急剧升高,或是编码码率不变,但编码后图像细节损失较大,编码后图像质量差的问题。第一方面,提供一种对图像进行编码的方法,所述方法包括:根据摄像装置发送的云台转动PT参数确定当前帧和实际参考帧之间的运动矢量MVD;确定与所述实际参考帧的中心点和大小相同的虚拟参考帧,其中,所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内采用帧间预测编码,除所述重合区域外的其他区域内采用帧内预测编码;利用所述虚拟参考帧对所述当前帧进行编码。结合第一方面,在第一种可能的实现方式中,所述方法还包括:在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容,以及,在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。结合第一方面,在第二种可能的实现方式中,所述PT参数中包括:在当前的成像焦距下摄像装置的垂直视角θ、当前帧相对于θ的转动角度实际参考帧相对于θ的转动角度以及,在当前的成像焦距下摄像装置的水平视角γ、当前帧相对于γ的转动角度β1、实际参考帧相对于γ的转动角度β2;根据所述PT参数确定当前帧和实际参考帧之间的MVD,具体包括:根据所述确定所述当前帧相对于与θ没有转动角度的帧在垂直方向上的第一MVD;根据所述确定所述实际参考帧相对于与θ没有转动角度的帧在垂直方向上的第二MVD;将所述第一MVD和所述第二MVD之差作为当前帧和实际参考帧在垂直方向上的MVD;根据所述β1确定所述当前帧相对于与γ没有转动角度的帧在水平方向上的第三MVD;根据所述β2确定所述实际参考帧相对于与γ没有转动角度的帧在水平方向上的第四MVD;将所述第三MVD和第四MVD之差作为当前帧和实际参考帧在水平方向上的MVD。结合第一方面的第二种可能的实现方式,在第三种可能的实现方式中,所述PT参数中还包括:摄像装置采集的图像在垂直方向上的高度H和在水平方向上的宽度W;通过以下公式确定第一MVD和第二MVD:通过以下公式确定第三MVD和第四MVD:结合第一方面的第一种可能的实现方式、第二种可能的实现方式或第三种可能的实现方式,在第四种可能的实现方式中,在利用所述虚拟参考帧对所述当前帧进行编码之前,所述方法还包括:根据摄像装置发送的云台转动/镜头变焦PTZ参数确定当前帧和实际参考帧之间的缩放比;根据确定的所述缩放比对所述虚拟参考帧进行插值操作;利用所述虚拟参考帧对所述当前帧进行编码,具体包括:利用进行插值操作后的虚拟参考帧对所述当前帧进行编码。结合第一方面的第四种可能的实现方式,在第五种可能的实现方式中,若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积,则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧,所述最终得到的虚拟参考帧采用帧间预测编码;若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积,则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧,该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码,除该重合区域外的其他区域采用帧内预测编码。结合第一方面的第五种可能的实现方式,在第六种可能的实现方式中,在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中,所述重合区域内填充插值操作后虚拟参考帧的内容,除该重合区域外的其他区域内填充0。结合第一方面的第一至第六任意一种可能的实现方式,在第七种可能的实现方式中,在利用所述虚拟参考帧对所述当前帧进行编码之前,所述方法还包括:根据摄像装置发送的自动曝光AE调节参数确定实际参考帧的整体增益和当前帧的整体增益之间的比值;利用所述比值对所述虚拟参考帧的各像素点进行处理,其中,像素点处理前的像素值与像素点处理后的像素值之比等于所述比值;利用所述虚拟参考帧对所述当前帧进行编码,具体包括:利用对像素点进行处理后的虚拟参考帧对所述当前帧进行编码。结合第一方面的第一至第七任意一种可能的实现方式,在第八种可能的实现方式中,在利用所述虚拟参考帧对所述当前帧进行编码之前,所述方法还包括:根据摄像装置发送的自动白平衡AWB调节参数确定实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值;利用确定的R增益的比值、G增益的比值和B增益的比值对所述虚拟参考帧的各像素点进行处理,其中,像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值,像素点处理前的G分量值与像本文档来自技高网
...
一种对图像进行编、解码的方法及设备

【技术保护点】
一种对图像进行编码的方法,其特征在于,所述方法包括:根据摄像装置发送的云台转动PT参数确定当前帧和实际参考帧之间的运动矢量MVD;确定与所述实际参考帧的中心点和大小相同的虚拟参考帧,其中,所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内采用帧间预测编码,除所述重合区域外的其他区域内采用帧内预测编码;利用所述虚拟参考帧对所述当前帧进行编码。

【技术特征摘要】
1.一种对图像进行编码的方法,其特征在于,所述方法包括:根据摄像装置发送的云台转动PT参数确定当前帧和实际参考帧之间的运动矢量MVD,其中,所述PT参数中包括:在当前的成像焦距下摄像装置的垂直视角θ、当前帧相对于θ的转动角度实际参考帧相对于θ的转动角度以及,在当前的成像焦距下摄像装置的水平视角γ、当前帧相对于γ的转动角度β1、实际参考帧相对于γ的转动角度β2;根据所述PT参数确定当前帧和实际参考帧之间的MVD,具体包括:根据所述确定所述当前帧相对于与θ没有转动角度的帧在垂直方向上的第一MVD;根据所述确定所述实际参考帧相对于与θ没有转动角度的帧在垂直方向上的第二MVD;将所述第一MVD和所述第二MVD之差作为当前帧和实际参考帧在垂直方向上的MVD;根据所述β1确定所述当前帧相对于与γ没有转动角度的帧在水平方向上的第三MVD;根据所述β2确定所述实际参考帧相对于与γ没有转动角度的帧在水平方向上的第四MVD;将所述第三MVD和第四MVD之差作为当前帧和实际参考帧在水平方向上的MVD;确定与所述实际参考帧的中心点和大小相同的虚拟参考帧,其中,所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内采用帧间预测编码,除所述重合区域外的其他区域内采用帧内预测编码;利用所述虚拟参考帧对所述当前帧进行编码。2.如权利要求1所述的对图像进行编码的方法,其特征在于,所述方法还包括:在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容,以及,在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。3.如权利要求1所述的对图像进行编码的方法,其特征在于,所述PT参数中还包括:摄像装置采集的图像在垂直方向上的高度H和在水平方向上的宽度W;通过以下公式确定第一MVD和第二MVD:第一第二通过以下公式确定第三MVD和第四MVD:第三第四4.如权利要求1~3任一所述的对图像进行编码的方法,其特征在于,在利用所述虚拟参考帧对所述当前帧进行编码之前,所述方法还包括:根据摄像装置发送的云台转动/镜头变焦PTZ参数确定当前帧和实际参考帧之间的缩放比;根据确定的所述缩放比对所述虚拟参考帧进行插值操作;利用所述虚拟参考帧对所述当前帧进行编码,具体包括:利用进行插值操作后的虚拟参考帧对所述当前帧进行编码。5.如权利要求4所述的对图像进行编码的方法,其特征在于,若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积,则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧,所述最终得到的虚拟参考帧采用帧间预测编码;若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积,则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧,该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码,除该重合区域外的其他区域采用帧内预测编码。6.如权利要求5所述的对图像进行编码的方法,其特征在于,在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中,所述重合区域内填充插值操作后虚拟参考帧的内容,除该重合区域外的其他区域内填充0。7.如权利要求1~3任一所述的对图像进行编码的方法,其特征在于,在利用所述虚拟参考帧对所述当前帧进行编码之前,所述方法还包括:根据摄像装置发送的自动曝光AE调节参数确定实际参考帧的整体增益和当前帧的整体增益之间的比值;利用所述比值对所述虚拟参考帧的各像素点进行处理,其中,像素点处理前的像素值与像素点处理后的像素值之比等于所述比值;利用所述虚拟参考帧对所述当前帧进行编码,具体包括:利用对像素点进行处理后的虚拟参考帧对所述当前帧进行编码。8.如权利要求1~3任一所述的对图像进行编码的方法,其特征在于,在利用所述虚拟参考帧对所述当前帧进行编码之前,所述方法还包括:根据摄像装置发送的自动白平衡AWB调节参数确定实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值;利用确定的R增益的比值、G增益的比值和B增益的比值对所述虚拟参考帧的各像素点进行处理,其中,像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值,像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值,像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值;利用所述虚拟参考帧对所述当前帧进行编码,具体包括:利用对像素点进行处理后的虚拟参考帧对所述当前帧进行编码。9.一种对图像进行解码的方法,其特征在于,所述方法包括:根据当前帧和实际参考帧之间的运动矢量MVD确定与所述实际参考帧的中心点和大小相同的虚拟参考帧,其中,所述虚拟参考帧与按照所述MVD移动后的实际参考帧的重合区域内采用帧间预测编码,除所述重合区域外的其他区域内采用帧内预测编码,所述MVD是根据编码侧发送的云台转动PT参数确定的,所述PT参数中包括:在当前的成像焦距下摄像装置的垂直视角θ、当前帧相对于θ的转动角度实际参考帧相对于θ的转动角度以及,在当前的成像焦距下摄像装置的水平视角γ、当前帧相对于γ的转动角度β1、实际参考帧相对于γ的转动角度β2;根据所述PT参数确定所述MVD,包括:根据所述确定所述当前帧相对于与θ没有转动角度的帧在垂直方向上的第一MVD;根据所述确定所述实际参考帧相对于与θ没有转动角度的帧在垂直方向上的第二MVD;将所述第一MVD和所述第二MVD之差作为当前帧和实际参考帧在垂直方向上的MVD;根据所述β1确定所述当前帧相对于与γ没有转动角度的帧在水平方向上的第三MVD;根据所述β2确定所述实际参考帧相对于与γ没有转动角度的帧在水平方向上的第四MVD;将所述第三MVD和第四MVD之差作为当前帧和实际参考帧在水平方向上的MVD;利用所述虚拟参考帧对编码后的当前帧进行解码。10.如权利要求9所述的对图像进行解码的方法,其特征在于,在所述虚拟参考帧的所述重合区域内填充所述实际参考帧在该重合区域内的内容,以及,在所述虚拟参考帧中除所述重合区域外的其他区域内填充0。11.如权利要求9或10所述的对图像进行解码的方法,其特征在于,利用所述虚拟参考帧对编码后的当前帧进行解码之前,所述方法还包括:根据当前帧和实际参考帧之间的缩放比对所述虚拟参考帧进行插值操作;利用所述虚拟参考帧对编码后的当前帧进行解码,具体包括:利用进行插值操作后的虚拟参考帧对编码后的所述当前帧进行解码。12.如权利要求11所述的对图像进行解码的方法,其特征在于,若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积,则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧,所述最终得到的虚拟参考帧采用帧间预测编码;若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积,则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧,该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码,除重合区域外的其他区域采用帧内预测编码。13.如权利要求9或10所述的对图像进行解码的方法,其特征在于,利用所述虚拟参考帧对编码后的当前帧进行解码之前,所述方法还包括:根据实际参考帧的整体增益和当前帧的整体增益之间的比值对所述虚拟参考帧的各像素点进行处理,其中,像素点处理前的像素值与像素点处理后的像素值之比等于所述比值;利用所述虚拟参考帧对编码后的当前帧进行解码,具体包括:利用对像素点进行处理后的虚拟参考帧对编码后的所述当前帧进行解码。14.如权利要求9或10所述的对图像进行解码的方法,其特征在于,利用所述虚拟参考帧对编码后的当前帧进行解码之前,所述方法还包括:根据实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值对所述虚拟参考帧的各像素点进行处理,其中,像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值,像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值,像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值;利用所述虚拟参考帧对编码后的当前帧进行解码,具体包括:利用对像素点进行处理后的虚拟参考帧对编码后的所述当前帧进行解码。15.一种对图像进行编码的方法,其特征在于,所述方法包括:根据摄像装置发送的PTZ参数确定当前帧和实际参考帧之间的缩放比;根据所述缩放比对所述实际参考帧进行插值操作后得到虚拟参考帧,其中,若插值操作后的虚拟参考帧的面积大于实际参考帧的面积,则从插值操作后的虚拟参考帧中选取中心点和大小都与实际参考帧相同的区域作为最终得到的虚拟参考帧,所述最终得到的虚拟参考帧采用帧间预测编码,若插值操作后的虚拟参考帧的面积小于实际参考帧的面积,则选取包含插值操作后的虚拟参考帧且中心点和大小都与实际参考帧相同的区域作为最终得到的虚拟参考帧,该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码,除该重合区域外的其他区域采用帧内预测编码;利用最终得到的虚拟参考帧对所述当前帧进行编码。16.如权利要求15所述的对图像进行编码的方法,其特征在于,在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中,所述重合区域内填充插值操作后虚拟参考帧的内容,除该重合区域外的其他区域内填充0。17.如权利要求15所述的对图像进行编码的方法,其特征在于,所述PTZ参数包括当前帧的焦距和实际参考帧的焦距;通过以下公式确定当前帧和实际参考帧之间的缩放比:缩放比=前帧的焦距/实际参考帧的焦距。18.一种对图像进行解码的方法,其特征在于,所述方法包括:根据当前帧和实际参考帧之间的缩放比对所述实际参考帧进行插值操作后得到虚拟参考帧,其中:若插值操作后虚拟参考帧的面积大于插值操作前虚拟参考帧的面积,则从插值操作后的虚拟参考帧中选取中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧,所述最终得到的虚拟参考帧采用帧间预测编码,若插值操作后虚拟参考帧的面积小于插值操作前虚拟参考帧的面积,则选取包含插值操作后的虚拟参考帧且中心点和大小都与插值操作前的虚拟参考帧相同的区域作为插值操作后最终得到的虚拟参考帧,该最终得到的虚拟参考帧与插值操作后的虚拟参考帧的重合区域采用帧间预测编码,除重合区域外的其他区域采用帧内预测编码;利用最终得到的虚拟参考帧对编码后的所述当前帧进行解码。19.如权利要求18所述的对图像进行解码的方法,其特征在于,在插值操作后的虚拟参考帧的面积小于实际参考帧面积的情况下选取的最终得到的虚拟参考帧中,所述重合区域内填充插值操作后虚拟参考帧的内容,除该重合区域外的其他区域内填充0。20.如权利要求18所述的对图像进行解码的方法,其特征在于,所述当前帧和实际参考帧之间的缩放比是编码侧发送的,或是根据编码侧发送的PTZ参数确定的。21.一种对图像进行编码的方法,其特征在于,所述方法包括:根据摄像装置发送的AE调节参数确定实际参考帧的整体增益和当前帧的整体增益之间的比值,其中,所述AE调节参数中包括:当前帧的曝光总时长、当前帧的模拟增益、当前帧的数字增益和当前帧的实际光圈数值,以及实际参考帧的曝光总时长、实际参考帧的模拟增益、实际参考帧的数字增益和实际参考帧的实际光圈数值;通过以下公式确定当前帧和实际参考帧的整体增益:帧的整体增益=(帧的曝光总时长/帧的曝光单位时长)*(默认光圈数值/帧的实际光圈数值)*数值因子*帧的模拟增益*帧的数字增益;利用所述比值对所述实际参考帧的各像素点进行处理后得到虚拟参考帧,其中,像素点处理前的像素值与像素点处理后的像素值之比等于所述比值;利用所述虚拟参考帧对所述当前帧进行编码。22.一种对图像进行解码的方法,其特征在于,所述方法包括:利用实际参考帧的整体增益和当前帧的整体增益之间的比值对所述实际参考帧的各像素点进行处理后得到虚拟参考帧,其中,像素点处理前的像素值与像素点处理后的像素值之比等于所述比值,所述实际参考帧的整体增益和当前帧的整体增益之间的比值是根据编码侧发送的AE调节参数确定的,其中,所述AE调节参数中包括:当前帧的曝光总时长、当前帧的模拟增益、当前帧的数字增益和当前帧的实际光圈数值,以及实际参考帧的曝光总时长、实际参考帧的模拟增益、实际参考帧的数字增益和实际参考帧的实际光圈数值;通过以下公式确定当前帧和实际参考帧的整体增益:帧的整体增益=(帧的曝光总时长/帧的曝光单位时长)*(默认光圈数值/帧的实际光圈数值)*数值因子*帧的模拟增益*帧的数字增益;利用所述虚拟参考帧对编码后的所述当前帧进行解码。23.一种对图像进行编码的方法,其特征在于,所述方法包括:根据摄像装置发送的AWB调节参数确定实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值;利用确定的R增益的比值、G增益的比值和B增益的比值对所述实际参考帧的各像素点进行处理得到虚拟参考帧,其中,像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值,像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值,像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值;利用所述虚拟参考帧对所述当前帧进行编码。24.一种对图像进行解码的方法,其特征在于,所述方法包括:根据实际参考帧的R、G、B增益分别与当前帧的R、G、B增益的比值对所述实际参考帧的各像素点进行处理得到虚拟参考帧,其中,像素点处理前的R分量值与像素点处理后的R分量值之比等于所述R增益的比值,像素点处理前的G分量值与像素点处理后的G分量值之比等于所述G增益的比值,像素点处理前的B分量值与像素点处理后的B分量值之比等于所述B增益的比值;利用所述虚拟参考帧对编码后的所述当前帧进行解码。25....

【专利技术属性】
技术研发人员:覃知王浦林
申请(专利权)人:华为技术有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1