发送装置、发送方法、接收装置和接收方法制造方法及图纸

当传输通过混合处理获得的运动图像数据时，本发明专利技术使得在接收侧的逆混合处理容易且适当。当要传输通过混合处理获得的运动图像数据时，关于混合率的信息和指示要混合的图片的信息插入到混合图像的图片编码图像数据中。当通过混合处理获得的运动图像数据要经由数字接口传输时，关于混合率的信息和指示要混合的图片的信息也与混合图像的图片图像数据相关联地传输。基于关于混合率的信息和指示要混合的图像的信息，可以在接收侧容易且适当地执行逆混合处理。

Transmitting device, transmitting method, receiving device and receiving method

【技术实现步骤摘要】
【国外来华专利技术】发送装置、发送方法、接收装置和接收方法
本技术涉及一种发送装置、一种发送方法、一种接收装置和一种接收方法，更具体地，涉及一种用于发送混合运动图像数据的发送装置等。
技术介绍
近年来，众所周知使用高速帧快门以高帧速率执行成像的相机。例如，正常帧速率是60Hz或50Hz，而高帧速率是正常帧速率的几倍或几十倍或者更进一步是几百倍的帧速率。可以认为，通过将由具有高速帧快门的相机捕捉的运动图像数据转换成频率低于高帧速率的运动图像序列，并发送转换后的运动图像数据，来提供高帧速率的服务。然而，尽管用高速帧快门捕捉的图像产生了改善运动模糊和以高清晰度获得高质量的有利效果，但是这些图像具有这样的方面，即在接收和再现侧在传统帧插值技术(该技术以低于分布式高帧速率的帧速率显示运动图像序列)中可能导致图像质量问题，。根据使用用高速帧快门捕捉的高清晰图像的帧插值，在适合运动矢量搜索的情况和不适合运动矢量搜索的情况之间产生很大的差异。在这种情况下，这些情况之间的差异被显示为显著的图像质量恶化。在帧插值期间提高运动矢量搜索精度所需的高负荷计算影响接收机的成本。本申请人先前提出了一种技术，该技术转换由用高速帧快门捕捉的图像构成的材料，并且使用以正常帧速率执行解码的传统接收机以特定级别或更高的图像质量显示该材料(参见专利文献1)。引文目录专利文献PTL1：PCT专利公开号2015/076277
技术实现思路
技术问题本技术的目的是在发送混合的运动图像数据的情况下，在接收侧适当且容易地执行逆混合处理。问题解决方案本技术的概念涉及一种发送装置，该发送装置包括：处理单元，其执行用于以独立于每个图片的混合率混合第一帧速率的第一运动图像数据的相应图片的图像数据和周围图片的图像数据的处理，以获得第一帧速率的第二运动图像数据。在指示构成第二运动图像数据的相应图片的图像数据中，至少指示对应于低于第一帧速率的第二帧速率的图片的图像数据与指示周围图片的图像数据处于混合状态。所述发送装置还包括编码单元，其通过编码指示对应于第二帧速率的图片的图像数据来获得基本流，并且还通过编码指示剩余图片的图像数据来获得预定数量的扩展流；插入单元，其将指示混合率的信息和指示混合对象图片的信息插入到基本流和预定数量的扩展流的编码图像数据中；以及发送单元，其发送包含基本流和预定数量的扩展流的容器，所述基本流和预定数量的所述扩展流插入了指示混合率的信息和混合对象图片。根据本技术，通过执行用于以针对每个图片独立的混合率混合第一帧速率的第一运动图像数据的相应图片的图像数据和指示周围图片的图像数据的处理，来获得第一帧速率的第二运动图像数据。在这种情况下，在指示构成第二运动图像数据的相应图片的图像数据中，至少指示对应于低于第一帧速率的第二帧速率的图片的图像数据与指示周围图片的图像数据处于混合状态。例如，第一帧速率是所谓的高帧速率，例如，120Hz和240Hz，而第二帧速率是所谓的正常帧速率，例如，60Hz。编码单元通过编码指示对应于第二帧速率的图片的图像数据来获得基本流，并且还通过编码指示剩余图片的图像数据来获得预定数量的扩展流。例如，编码单元可以被配置为将基本流编码成最低层，并将预定数量的扩展流编码成高于最低层的层。插入单元将指示混合率的信息和指示混合对象图片的信息插入到基本流和预定数量的扩展流的编码图像数据中。例如，指示混合对象图片的信息可以是单独提供给相应图片的图片识别信息。另外，例如，指示混合对象图片的信息可以是指示图片之间的时间位置关系的信息。此外，发送单元发送包括基本流和预定数量的扩展流的容器，所述基本流和预定数量的所述扩展流插入了指示所述混合率和所述混合对象图片的信息。根据本技术，如上所述，指示混合率的信息和指示混合对象图片的信息插入到基本流和预定数量的扩展流的编码图像数据中。因此，可以在接收侧适当地执行逆混合处理，从而以优选的方式获得高帧速率的运动图像数据。注意，例如，本技术的插入单元可以被配置为将指示用于层编码的层数和混合方向的类型信息插入到包括基本流和预定数量的扩展流的容器的层中。在这种情况下，可以在接收侧识别用于层编码的层数和混合方向，而无需解码基本流和扩展流。本技术的另一概念涉及一种接收装置，包括：接收单元，其接收包括基本流和预定数量的扩展流的容器。通过编码图像数据而获得基本流，所述图像数据包括在通过执行以针对每个图片独立的混合率混合第一帧速率的第一运动图像数据的相应图片的图像数据和指示周围图片的图像数据的处理而获得的第一帧速率的第二运动图像数据中，并且在与至少指示周围图片的图像数据混合的状态下指示对应于低于第一帧速率的第二帧速率的图片。通过对指示剩余图片的图像数据进行编码来获得预定数量的扩展流。指示混合率的信息和指示混合对象图片的信息插入到基本流和预定数量的扩展流的编码图像数据中。所述接收装置还包括处理单元，该处理单元根据显示能力，通过解码基本流来获得第二帧速率的运动图像数据，或者通过解码基本流和部分或全部预定数量的扩展流，并且基于指示混合率的信息和指示混合对象图片的信息，执行逆混合处理，来获得等于或低于第一帧速率且高于第二帧速率的帧速率的运动图像数据。根据本技术，接收单元接收包括基本流和预定数量的扩展流的容器。通过编码图像数据而获得基本流，所述图像数据包括在通过执行用于以针对每个图片独立的混合率混合第一帧速率的第一运动图像数据的相应图片的图像数据和以独立于每个图片的混合率指示周围图片的图像数据的处理而获得的第一帧速率的第二运动图像数据中，并且在与至少指示周围图片的图像数据混合的状态下指示对应于低于第一帧速率的第二帧速率的图片。通过对指示剩余图片的图像数据进行编码来获得预定数量的扩展流。指示混合率的信息和指示混合对象图片的信息插入到基本流和预定数量的扩展流的编码图像数据中。处理单元通过仅处理基本流来获得第二帧速率(正常帧速率)的运动图像数据，或者通过基于指示混合率的信息和指示混合对象图片的信息，处理基本流以及部分或全部预定数量的扩展流，来获得等于或低于第一帧速率且高于第二帧速率的帧速率(高帧速率)的混合消除的运动图像数据。根据本技术，如上所述，通过基于指示混合率的信息和指示混合对象图片的信息，处理基本流以及部分或全部预定数量的扩展流，来获得高帧速率的混合消除的运动图像数据。因此，适当且容易实现逆混合处理，因此可以以优选的方式获得高帧速率的运动图像数据。此外，本技术的另一概念涉及一种发送装置，包括：获取单元，其获取第二运动图像数据，通过执行用于以针对每个图片独立的混合率混合指示第一运动图像数据的相应图片的图像数据和指示周围图片的图像数据的处理，来获得第二运动图像数据；以及发送单元，其经由发送路径向外部装置发送第二运动图像数据、指示相应图片的混合率的信息以及指示混合对象图片的信息。根据本技术，获取单元获取第二运动图像数据，通过执行以针对每个图片独立的混合率混合指示第一运动图像数据的相应图片的图像数据和指示周围图片的图像数据的处理，来获得本文档来自技高网...

【技术保护点】
1.一种发送装置，包括：/n处理单元，执行对第一帧速率的第一运动图像数据的相应图片的图像数据和周围图片的图像数据以针对每个图片独立的混合率进行混合的处理，以获得第一帧速率的第二运动图像数据，其中，/n在构成所述第二运动图像数据的相应图片的图像数据中，至少与低于所述第一帧速率的第二帧速率相对应的图片的图像数据与所述周围图片的图像数据处于混合状态，并且/n所述发送装置还包括/n编码单元，其通过编码对应于所述第二帧速率的图片的图像数据来获得基本流，并且还通过编码剩余图片的图像数据来获得预定数量的扩展流，/n插入单元，其将指示混合率的信息和指示混合对象图片的信息插入到基本流和预定数量的扩展流的编码图像数据中，以及/n发送单元，其发送包含所述基本流和预定数量的所述扩展流的容器，其中，所述基本流和预定数量的所述扩展流插入了指示所述混合率和所述混合对象图片的信息。/n

【技术特征摘要】
【国外来华专利技术】20171102 JP 2017-2132851.一种发送装置，包括：
处理单元，执行对第一帧速率的第一运动图像数据的相应图片的图像数据和周围图片的图像数据以针对每个图片独立的混合率进行混合的处理，以获得第一帧速率的第二运动图像数据，其中，
在构成所述第二运动图像数据的相应图片的图像数据中，至少与低于所述第一帧速率的第二帧速率相对应的图片的图像数据与所述周围图片的图像数据处于混合状态，并且
所述发送装置还包括
编码单元，其通过编码对应于所述第二帧速率的图片的图像数据来获得基本流，并且还通过编码剩余图片的图像数据来获得预定数量的扩展流，
插入单元，其将指示混合率的信息和指示混合对象图片的信息插入到基本流和预定数量的扩展流的编码图像数据中，以及
发送单元，其发送包含所述基本流和预定数量的所述扩展流的容器，其中，所述基本流和预定数量的所述扩展流插入了指示所述混合率和所述混合对象图片的信息。


2.根据权利要求1所述的发送装置，其中，
指示所述混合对象图片的信息包括单独提供给相应图片的图片识别信息。


3.根据权利要求1所述的发送装置，其中，
指示所述混合对象图片的信息包括指示图片之间的时间位置关系的信息。


4.根据权利要求1所述的发送装置，其中，
所述编码单元将所述基本流编码到最低层，并将预定数量的所述扩展流编码到高于所述最低层的层。


5.根据权利要求4所述的发送装置，其中，
所述插入单元还将指示用于层编码的层数和混合方向的类型信息插入到包括基本流和预定数量的扩展流的容器的层中。


6.一种发送方法，包括：
处理步骤，其中，处理单元执行对第一帧速率的第一运动图像数据的相应图片的图像数据和周围图片的图像数据以针对每个图片独立的混合率进行混合的处理，以获得第一帧速率的第二运动图像数据，其中，
在构成所述第二运动图像数据的相应图片的图像数据中，至少与低于所述第一帧速率的第二帧速率相对应的图片的图像数据与所述周围图片的图像数据处于混合状态，并且
所述发送方法还包括
编码步骤，其中，编码单元通过编码与第二帧速率相对应的图片的图像数据来获得基本流，并且还通过编码剩余图片的图像数据来获得预定数量的扩展流，
插入步骤，其中，插入单元将指示混合率的信息和指示混合对象图片的信息插入到基本流和预定数量的扩展流的编码图像数据中，以及
发送步骤，其中，发送单元发送包含基本流和预定数量的所述扩展流的容器，其中，所述基本流和预定数量的所述扩展流插入了指示所述混合率和所述混合对象图片的信息。


7.一种接收装置，包括：
接收单元，其接收包括基本流和预定数量的扩展流的容器，其中，
所述基本流是通过编码图像数据而获得的，所述图像数据包括在通过执行对第一帧速率的第一运动图像数据的相应图片的图像数据和周围图片的图像数据以针对每个图片独立的混合率进行混合的处理而获得的第一帧速率的第二运动图像数据中，并且指示在至少与周围图片的图像数据混合的状态下的、与低于第一帧速率的第二帧速率相对应的图片，所述预定数量的扩展流是通过对剩余图片的图像数据进行编码而获得的，
指示混合率的信息和指示混合对象图片的信息被插入到所述基本流和所述预定数量的扩展流的编码图像数据中，并且
所述接收装置还包括处理单元，该处理单元根据显示能力，通过解码所述基本流来获得第二帧速率的运动图像数据，或者通过解码所述基本流以及部分或全部预定数量的扩展流、并且基于指示混合率的信息和指示混合对象图片的信息执行逆混合处...

【专利技术属性】
技术研发人员：塚越郁夫，
申请(专利权)人：索尼公司，
类型：发明
国别省市：日本;JP