不需要背景幕布的色键影像合成方法技术

根据本发明专利技术一个实施例的色键合成装置的色键合成方法，包括：拍摄背景(background)中不包含客体(object)的第一影像，读取并保留所述第一影像的颜色信息的步骤；拍摄所述背景中包含所述客体的第二影像，读取并保留所述第二影像的颜色信息的步骤；通过从所述第二影像去除相当于所述第一影像的颜色信息的色值，从所述第二影像去除所述背景仅提取所述客体以获得客体影像的步骤；拍摄所述背景中包含所述客体的红外线影像，通过从所述红外线影像读取的深度信息获取所述红外线影像中追踪所述客体的客体深度影像的步骤；通过所述客体深度影像补正所述客体影像的步骤；以及，合成补正的所述客体影像与选定的背景影像的步骤。

Color bond image synthesis method without background curtain

According to the color key synthesis method, color key synthesis device of an embodiment of the present invention: shooting background (background) is not included in the object (object) of the first image, the color information of the read step and retains the first images; second images containing the object of the shooting in the background, and read the second steps of image color information; the removal is equivalent to the first image color information through the image from the second color value, the removal of only extracting the object background to obtain object images from the second steps of image; infrared images containing the object of the shooting in the background gets the object, the object of the depth image tracking of the infrared images through the depth information read from the infrared image of the object through the steps; the object of depth image correction The steps of the image; and the synthesis of the corrected object image and the selected background image.

【技术实现步骤摘要】
【国外来华专利技术】不需要背景幕布的色键影像合成方法
本专利技术涉及不需要背景幕布的色键影像合成方法，尤其涉及一种从一般背景下拍摄客体得到的彩色影像与红外线影像提取客体，通过所述红外线影像补正所述彩色影像的客体像素孔，通过所述彩色影像补正所述红外线影像的客体轮廓线后相互合成，因此在没有背景幕布的环境下也能够方便、准确地获得合成色键影像所需的客体影像的不需要背景幕布的色键影像合成方法。
技术介绍
一般的色键(chromakey)合成装置是将特定色度指定为键(key)后，生成以色键(chromakey)为背景通过摄像机拍摄的客体与背景幕布影像的背景幕布影像替代成其他背景影像合成的影像。色键(chromakey)用于合成影像，将特定色度(chroma)指定为键(key)后用其他影像替代主影像中相当于键(key)的像素(pixel)。此处，执行色键(chromakey)的算法中，键(key)不是单一的色度(chroma)值，而是表示色度(chroma)值的范围。因此，色键(chromakey)的执行需要作为键(key)的背景幕布(backgroundscreen)，背景幕布的色度(chroma)值范围应该小。并且，背景幕布与客体(object)(包括人在内的与幕布区分的所有物体)应以色度(chroma)为基准彼此分离。对于这种色键技术而言，为了分离背景幕布(backgroundscreen)与客体(object)，需要预先计划使客体的颜色与背景颜色不相同。并且，即使客体的颜色与背景的颜色不相同，但特定照明条件下能够变成相同，因此需要预先计划照明条件。并且，客体在特定摄像机演出技法下能够落入与背景相同的色度范围，因此需要预先计划摄像机技法。并且，在其他客体出现时引发反射或影子、照明状态的变化等的情况，因此客体可能落入与背景相同的颜色范围，因此需要预先对此做出计划。并且，为了预先计划客体与摄像机、照明等，必须能够在拍摄前预测出背景的色键值。并且，所有摄像机都会引起实物的颜色与其他状态出现预定程度的失真，因此对背景幕布的色键(chromakey)来讲，眼睛看到的键(key)值与通过摄像机进入的影像信号的色键(chromakey)值出现差异，因此最小化这些差异才能够按预先计划的颜色构成拍摄。并且，背景幕布的色度(chroma)成分能够随客体与照明、摄像机演出技法等发生变化，这种情况下作为基准的键值也能够发生变化，因此需要预先计划以防止发生这种现象。如上所述的现有色键技术必须具有背景屏幕。即，是拍摄合成色键所需的客体时，使客体位于具有特定颜色的背景幕布并进行拍摄后对拍摄的影像执行色度键控(chromakeying)仅提取客体并合成到想要的影像的方式，必须在具有特定色键的背景幕布进行拍摄。因此，现有的色键影像合成只能在具有背景幕布的室内等特定空间拍摄影像，因此非常不方便。由于现有技术具有这种问题，需要开发出能够柔和、高准确度地对在没有背景幕布的环境下拍摄的影像执行色键影像合成的技术。
技术实现思路
技术问题本专利技术为解决上述现有技术问题，目的在于提供一种从一般背景下拍摄客体得到的彩色影像与红外线影像提取客体，通过所述红外线影像补正所述彩色影像的客体像素孔，通过所述彩色影像补正所述红外线影像的客体轮廓线后相互合成，因此在没有背景幕布的环境下也能够方便、准确地获得色键合成所需的客体影像的不需要背景幕布的色键影像合成方法。技术方案为达成上述目的且解决现有技术问题，根据本专利技术一个实施例的色键合成装置的色键合成方法包括：拍摄背景(background)中不包含客体(object)的第一影像，读取并保留所述第一影像的颜色信息的步骤；拍摄所述背景中包含所述客体的第二影像，读取并保留所述第二影像的颜色信息的步骤；通过从所述第二影像去除相当于所述第一影像的颜色信息的色值，从所述第二影像去除所述背景仅提取所述客体以获得客体影像的步骤；拍摄所述背景中包含所述客体的红外线影像，通过从所述红外线影像读取的深度信息获取所述红外线影像中追踪所述客体的客体深度影像的步骤；对所述客体影像的像素与所述客体深度影像的像素通过彼此的像素信息进行补正，通过合成所述客体影像与所述客体深度影像获得色键客体影像的步骤；以及，合成所述色键客体影像与选定的背景影像的步骤。并且，根据本专利技术一个实施例的色键合成装置的色键合成方法，通过从所述第二影像去除相当于所述第一影像的颜色信息的色值，从所述第二影像去除所述背景仅提取所述客体以获得客体影像的步骤包括：与所述第二影像的各像素的RGB(YUV)值对应地按影像大小(宽度*高度)匹配所述第一影像的各像素的RGB(YUV)值的步骤；设所述第二影像的任意一个像素值为r1，g1，b1，所述第一影像的任意一个像素值为r2，g2，b2，所述客体影像的任意一个像素值为r3，g3，b3的情况下，运算r3＝|r2-r1|，g3＝|g2-g1|，b3＝|b2-b1|的步骤；以及，所述r3、所述g3、所述b3分别收敛于0的情况下，将该像素判别为所述背景，而在选定的临界值以上的情况下将该像素判别为所述客体的步骤。并且，根据本专利技术一个实施例的色键合成装置的色键合成方法，其特征在于，运算所述r3、所述g3、所述b3的步骤以后还包括：通过数学式r3＝|r2-r1|-rt，g3＝|g2-g1|-gt，b3＝|b2-b1|-bt补正所述r3、所述g3、所述b3的步骤，所述数学式中，rt，gt，bt是各像素的临界值，感测拍摄选定的时间长度的背景影像的各像素值的变化，从所述感测的所述各像素值的变化算出最小值与最大值以算出所述各像素的临界值。并且，根据本专利技术一个实施例的色键合成装置的色键合成方法，拍摄所述背景中包含所述客体的红外线影像，通过从所述红外线影像读取的深度信息获取所述红外线影像中追踪所述客体的客体深度影像的步骤包括：利用所述客体影像的像素信息去除关于所述客体深度影像的轮廓线的噪声的步骤；利用所述客体深度影像的像素信息匹配对应于所述客体影像中的像素孔的像素的步骤；以及，合成去除所述噪声后的客体深度影像与匹配所述像素孔的客体影像的步骤。并且，根据本专利技术一个实施例的色键合成装置的色键合成方法，其特征在于，在利用所述客体影像的像素信息去除关于所述客体深度影像的轮廓线的噪声的步骤，确认以中心像素为基准相邻的八个像素的值并在缺少所述八个像素中任意一个以上值的情况下，通过丢弃所述中心像素值的影像处理形态学运算(MorphologicalOperation)中的侵蚀(Erosion)运算去除关于所述客体深度影像的掩蔽影像噪声。并且，根据本专利技术一个实施例的色键合成装置的色键合成方法，其特征在于，在利用所述客体深度影像的像素信息匹配对应于所述客体影像中的像素孔的像素的步骤，确认以中心像素为基准相邻的八个像素的值并在具有所述八个像素中任意一个以上值的情况下，通过设为所述中心像素值的影像处理形态学运算(MorphologicalOperation)中的扩张(Dilation)运算执行填补所述客体影像的掩蔽影像孔的技术方法。技术效果本专利技术的色键合成装置的色键合成方法，无需在蓝色幕布等背景幕布拍摄客体，只需在一般背景拍摄客体得到的彩色影像与红外线影像即可准确、方便地获得色键影像合成所需的关于客体的影像。本文档来自技高网...

【技术保护点】
一种色键合成装置的色键合成方法，其特征在于，包括：拍摄背景(background)中不包含客体(object)的第一影像，读取并保留所述第一影像的颜色信息的步骤；拍摄所述背景中包含所述客体的第二影像，读取并保留所述第二影像的颜色信息的步骤；通过从所述第二影像去除相当于所述第一影像的颜色信息的色值，从所述第二影像去除所述背景仅提取所述客体以获得客体影像的步骤；拍摄所述背景中包含所述客体的红外线影像，通过从所述红外线影像读取的深度信息获取所述红外线影像中追踪所述客体的客体深度影像的步骤；对所述客体影像的像素与所述客体深度影像的像素通过彼此的像素信息进行补正，通过合成所述客体影像与所述客体深度影像获得色键客体影像的步骤；以及合成所述色键客体影像与选定的背景影像的步骤。

【技术特征摘要】
【国外来华专利技术】2015.11.18 KR 10-2015-01620171.一种色键合成装置的色键合成方法，其特征在于，包括：拍摄背景(background)中不包含客体(object)的第一影像，读取并保留所述第一影像的颜色信息的步骤；拍摄所述背景中包含所述客体的第二影像，读取并保留所述第二影像的颜色信息的步骤；通过从所述第二影像去除相当于所述第一影像的颜色信息的色值，从所述第二影像去除所述背景仅提取所述客体以获得客体影像的步骤；拍摄所述背景中包含所述客体的红外线影像，通过从所述红外线影像读取的深度信息获取所述红外线影像中追踪所述客体的客体深度影像的步骤；对所述客体影像的像素与所述客体深度影像的像素通过彼此的像素信息进行补正，通过合成所述客体影像与所述客体深度影像获得色键客体影像的步骤；以及合成所述色键客体影像与选定的背景影像的步骤。2.根据权利要求1所述的色键合成装置的色键合成方法，其特征在于，通过从所述第二影像去除相当于所述第一影像的颜色信息的色值，从所述第二影像去除所述背景仅提取所述客体以获得客体影像的步骤包括：与所述第二影像的各像素的RGB(YUV)值对应地按影像大小(宽度*高度)匹配所述第一影像的各像素的RGB(YUV)值的步骤；设所述第二影像的任意一个像素值为r1，g1，b1，所述第一影像的任意一个像素值为r2，g2，b2，所述客体影像的任意一个像素值为r3，g3，b3的情况下，运算r3＝|r2-r1|，g3＝|g2-g1|，b3＝|b2-b1|的步骤；以及所述r3，所述g3，所述b3分别收敛于0的情况下，将该像素判别为所述背景，而在选定的临界值以上的情况下将该像素判别为所述客体的步骤。3.根据权利要求2所述的色键合成装置的色键合成方法，其特征在于，运算所述r3，所述g3，所述b3的步骤以后还...

【专利技术属性】
技术研发人员：张来现，
申请(专利权)人：韩国网络软件公司，
类型：发明
国别省市：韩国,KR