基于编码顺序已知图像集的多参考图像确定方法技术

本发明专利技术公开了一种基于编码顺序已知图像集的多参考图像确定方法。解决了充分利用图像间相关性提高编码效率的技术问题。实现步骤有：建已知编码顺序图像集HE；判断图像集编码结构中L层所有图像的编码顺序和参考图像是否都已确定；若没，通过循环完成对该层中所有图像的参考图像搜索；计算该层未确定编码顺序图像的平均权重；平均权重最小的作为待编码图像放入HE中；若该层图像的参考图像都已确定，输出该层图像参考图像信息，完成L层的确定；上述步骤遍历整个图像集，完成参考图像确定。本发明专利技术充分利用了图像间相关性，明显提高编码效率。实验也证明本发明专利技术对编码效率提高明显。可用于个人相册压缩、计算机视觉和云端图像存储等。

A multi reference image determination method based on the known image set in the coded sequence

The invention discloses a method for determining a multi reference image based on a known image set in a coded sequence. The technical problem of making full use of the correlation between images to improve the coding efficiency is solved. The implementation steps are: to build the known image set HE encoding sequence; judge image set L layer encoding structure encoding sequence and reference images of all images have been determined; if not, the cycle is completed in the reference image search all the images in the layer; calculate the layer determined average weight encoding sequence image; average the minimum weight as the encoding into HE image; if the image of the reference image layer have been identified, the output of the image information of reference image, determine the L layer; the steps of the traversal of the whole image, the reference image is determined to complete. The invention makes full use of the correlation between images, and obviously improves the coding efficiency. The experiment also proves that the invention has an obvious improvement in the coding efficiency. It can be used for personal photo album compression, computer vision and cloud image storage.

【技术实现步骤摘要】
基于编码顺序已知图像集的多参考图像确定方法
本专利技术属于图像处理
，更进一步涉及对群体图像编码中确定多参考图像的方法，具体是一种基于编码顺序已知图像集的多参考图像确定方法，可用于个人相册压缩、计算机视觉和云端图像存储等。
技术介绍
随着科技的进步发展，图像出现了爆发式的增长，使得图像的存储管理成本不断增大。但是图像编码中可以挖掘的冗余性还很大，特别是针对互联网中内容相关的图像。对于这些内容相关的图像，可以采用群体图像编码，以节省存储空间，所以近几年来对群体图像编码的研究成为了一个热点。目前，在群体图像编码方面的研究文献如下：ZhongboShi,XiaoyanSun,andFengWu在其发表的论文“PhotoAlbumCompressionforCloudStorageUsingLocalFeatures”(《IEEEJournalonEmergingandSelectedTopicainCircuitsandSystems》，2014)中介绍了基于单参考图像的编码框架和流程。此论文利用单个参考图像进行编码，所以参考图像的确定也是针对单参考图像进行的。XinfengZhang，YabinZhang，WeisiLin在“AnInter-imageRedundancyMeasureforImageSetCompression”(《IEEEInternationalSymposiumonCircuitsandSystems》，2015)中，在SIFT匹配相似度的基础上，提出了使用匹配面积表征匹配程度，进一步描述图像之间的冗余，找出一幅代表图像，其余图像都以该图像作为参考，其编解码时间快，但编码效率提升不高。YonggenLing，OscarC.Au，RuobingZou在“PhotoAlbumCompressionByLeveragingTemporal-spatialCorrelationsandHEVC”(《IEEEInternationalSymposiumonCircuitsandSystems》，2014)中提出得到最小生成树后，再通过吸引子传播聚类方法对最小生成树进行深度限制，此类方法利用聚类对群体图像进行深度限制，通常复杂度较高。OscarAu，SLi，RZou在“DigitalPhotoAlbumCompressionBasedonGlobalMotionCompensationandIntra/Interprediction”(《InternationalConferenceonAudio》，2012)中分析了相机和图像集中相似图像上运动物体的特点，提出了一个将全局运动估计、局部运动补偿以及帧内预测应用到视频编码技术中的方案。YabinZhang，WLin，JCai在“Densecorrespondencebasedpredictionforimagesetcompression”(《IEEEInternationalConferenceonAcoustics》，2015)中利用稠密对应来分析图像间的关系，并且为接下来的HEVC(HighEfficiencyVideoCoding)编码的帧间预测重构出一个新的参考帧，从他们的实验结果看，此方法可以利用图像间的关系，并且可以自适应图像间复杂的局部变化，特别是在局部变化占主导地位的图像集中对编码效率的提高比较明显。以上的方法均是在图像编码中利用单个参考图像，没有充分利用图像集中图像间的相关性，直接影响到图像编码效率。
技术实现思路
本专利技术的目的是针对现有技术的不足，提出一种充分利用图像集中图像间相关性的基于编码顺序已知图像集的多参考图像确定方法。本专利技术是一种基于编码顺序已知图像集的多参考图像确定方法，其特征在于，假设要确定图像集编码结构中第L层每幅图像的编码顺序及其多个参考图像，包括有以下步骤：(1)建立已知编码顺序的图像集HE：已知编码顺序的图像集HE包含了所有已知编码顺序的图像，并且HE中每幅图像的多个参考图像都已确定；(2)判断已知编码顺序的图像集HE是否包含了图像集编码结构中第L层的所有图像，若是，则转到步骤(7)进行输出，否则执行步骤(3)搜索多参考图像；(3)搜索多参考图像：为图像集编码结构中第L层所有未确定编码顺序的图像在已知编码顺序的图像集HE中搜寻一个或多个参考图像，然后执行步骤(4)计算平均权重；(4)计算平均权重wavg：计算编码结构中第L层每一幅未确定编码顺序的图像与搜索到的一个或多个参考图像所对应的平均权重wavg；(5)选择下一幅待编码图像：选择编码结构中第L层所有未确定编码顺序图像中平均权重最小的图像作为下一幅待编码图像，移到已知编码顺序的图像集HE中；(6)通过迭代循环步骤(1)到步骤(5)直到完成对编码结构中第L层每幅图像的参考图像及其编码顺序的确定；(7)输出第L层每幅图像的一个或多个参考图像以及编码顺序信息。通过迭代循环以上步骤确定图像集编码结构中每一层的图像的编码顺序和参考图像，进而确定整个图像集所有图像的编码顺序及其参考图像。通过为编码结构中每一层的每幅图像在已知编码顺序图像中搜寻多个参考图像及确定编码顺序，进而确定整个图像集每幅图像的多个参考图像和编码顺序。层与层之间的图像编码顺序采用逐层编码的方式，即首先编码根图像，再编码第二层图像，然后编码第三层图像，直至完成对图像集中所有图像的编码。本专利技术采用的方法可以充分利用图像间的相关性，明显提高编码效率，降低图像的存储空间和传输数据量。本专利技术与现有技术相比，具有以下优点：第一，本专利技术在已知编码顺序的图像中搜索多参考图像，在群体图像编码中利用搜索到的多个参考图像进行编码，充分降低了图像集中图像间的冗余性，克服了使用单参考图像进行编码存在的对图像集中多幅图像间的相关性利用程度不高的局限性；第二，本专利技术对参考图像中已与当前图像匹配过的特征点进行了剔除，防止一个当前图像特征点被重复匹配的情况存在，使得搜寻出的参考图像与当前图像间的相关性更强，从而使得编码效率得到明显提升。附图说明图1是本专利技术的实现总流程图；图2是给一幅图像搜索多参考图像的流程图；图3是给一幅图像在非父节点图像中搜索多个参考图像的流程图；图4是使用本专利技术确定的多参考图像与使用单参考图像进行群体图像编码的编码效率对比图。具体实施方式下面结合附图对本专利技术进行详细说明。现有技术中，群体图像编码主要是根据图像间的相关性生成伪视频序列，并采用视频压缩技术进行压缩，该方法需要解决四个主要问题：第一个是如何生成图像集的编码结构，第二个是如何确定图像集中每幅图像的参考图像，第三个是如何生成更接近当前编码图像(目标图像)的变换图像，最后一个是如何利用视频压缩技术对根据编码结构得到的伪视频进行压缩。本专利技术是针对第二个问题提出的，并且必须以第一个问题的解决为前提，即在确定多参考图像之前，要生成图像集的编码结构。编码结构是要得到一个树形图，除了根图像之外，每幅图像都有一个父节点图像。目前，对群体图像编码的研究都集中在使用单参考图像的群体图像编码。使用单个参考图像的群体图像编码在确定参考图像时非常简单，可以根据图像集的编码结构将父节点图像作为每幅图像的参考图像。但是使用单参考图像的群体图像编码仅能利用图像集中本文档来自技高网...

【技术保护点】
一种基于编码顺序已知图像集的多参考图像确定方法，其特征在于，假设要确定图像集编码结构中第L层每幅图像的编码顺序及其多个参考图像，包括有以下步骤：(1)建立已知编码顺序的图像集HE：已知编码顺序的图像集HE包含了所有已知编码顺序的图像，并且HE中每幅图像的多个参考图像都已确定；(2)判断已知编码顺序的图像集HE是否包含了图像集编码结构中第L层的所有图像，若是，则转到步骤(7)进行输出，否则执行步骤(3)搜索多参考图像；(3)搜索多参考图像：为图像集编码结构中第L层所有未确定编码顺序的图像在已知编码顺序的图像集HE中搜寻一个或多个参考图像，然后执行步骤(4)计算平均权重；(4)计算平均权重wavg：计算编码结构中第L层每一幅未确定编码顺序的图像与搜索到的一个或多个参考图像所对应的平均权重wavg；(5)选择下一幅待编码图像：选择编码结构中第L层所有未确定编码顺序图像中平均权重最小的图像作为下一幅待编码图像，移到已知编码顺序的图像集HE中；(6)通过迭代循环步骤(1)到步骤(5)直到完成对编码结构中第L层每幅图像的参考图像及其编码顺序的确定；(7)输出第L层每幅图像的一个或多个参考图像以及编码顺序信息。通过迭代循环以上步骤确定图像集编码结构中每一层图像的编码顺序和参考图像，进而确定整个图像集所有图像的编码顺序及其参考图像。...

【技术特征摘要】
1.一种基于编码顺序已知图像集的多参考图像确定方法，其特征在于，假设要确定图像集编码结构中第L层每幅图像的编码顺序及其多个参考图像，包括有以下步骤：(1)建立已知编码顺序的图像集HE：已知编码顺序的图像集HE包含了所有已知编码顺序的图像，并且HE中每幅图像的多个参考图像都已确定；(2)判断已知编码顺序的图像集HE是否包含了图像集编码结构中第L层的所有图像，若是，则转到步骤(7)进行输出，否则执行步骤(3)搜索多参考图像；(3)搜索多参考图像：为图像集编码结构中第L层所有未确定编码顺序的图像在已知编码顺序的图像集HE中搜寻一个或多个参考图像，然后执行步骤(4)计算平均权重；(4)计算平均权重wavg：计算编码结构中第L层每一幅未确定编码顺序的图像与搜索到的一个或多个参考图像所对应的平均权重wavg；(5)选择下一幅待编码图像：选择编码结构中第L层所有未确定编码顺序图像中平均权重最小的图像作为下一幅待编码图像，移到已知编码顺序的图像集HE中；(6)通过迭代循环步骤(1)到步骤(5)直到完成对编码结构中第L层每幅图像的参考图像及其编码顺序的确定；(7)输出第L层每幅图像的一个或多个参考图像以及编码顺序信息。通过迭代循环以上步骤确定图像集编码结构中每一层图像的编码顺序和参考图像，进而确定整个图像集所有图像的编码顺序及其参考图像。2.根据权利要求1所述的基于编码顺序已知图像集的多参考图像确定方法，其特征在于，步骤(3)中所述搜索多参考图像的过程包括有以下步骤：(3.1)若图像集编码结构的第L层图像还有未确定编码顺序的图像则转到步骤(3.2)开始搜索参考图像，否则转到步骤(4)计算第L层所有未确定编码顺序图像的平均权重；(3.2)选定第L层未确定编码顺序图像中的一幅图像作为当前图像，首先提取出当前图像的所有尺度不变特征变换SIFT特征点，记为特征点集U；(3.3)然后将编码结构中当前图像的父节点图像作为当前图像的参考图像加入到当前图像的参考图像集Ref中；(3.4)对当前图像与其父节点图像进行SIFT特征点的匹配，匹配的特征点集记为V0；(3.5)计...

【专利技术属性】
技术研发人员：吴炜，李梦华，刘炯，冯磊，
申请(专利权)人：西安电子科技大学，
类型：发明
国别省市：陕西,61