视频处理方法和装置制造方法及图纸

本申请提供了一种视频处理方法和装置。该方法包括：服务器将物体的感知属性信息和物体的空间位置信息添加到视频码流或视频文件，并对所述视频码流或所述视频文件进行封装，所述感知属性信息用于表示物体在被用户感知时所呈现出的性质；终端设备获取携带物体的感知属性信息和物体的空间位置信息的视频码流或视频文件，并基于用户的行为，结合所述物体的感知属性信息和所述物体的空间位置信息，对所述物体的感知属性进行感知渲染。本申请实施例的视频处理方法和装置，能够将物体的感知属性与物体的空间位置相关联，从而获得更好的用户体验。

【技术实现步骤摘要】
视频处理方法和装置
本申请涉及媒体传输
，并且更具体地，涉及一种视频处理方法和装置。
技术介绍
人体感知，指的是人对外界环境的感觉，比如视觉、嗅觉、听觉、触觉等。在观看普通视频时，终端设备只触发我们使用视觉和听觉来感知视频内容，如我们在观看视频中，可以在屏幕上看到视频图像以及在扬声器中听到音频。对于在观看视频时触发人体的其他感觉，如嗅觉和触觉，现也已经在一些视频应用中使用，比如在某些私人影院中存在定制的喷水系统，当观看电影中某些场景如下雨时，喷水系统会随之喷洒雾水，给观看者带来水雾扑面的体验，触发观看者的触觉。此外，现有的一种基于嗅觉信息的传送方法主要应用于传统信号传输系统中，在某段时间内，使用气味传感器将当前时刻的气味进行捕获，生成气味信息码；然后将该码流发送至客户端，客户端通过获取到的所述气味信息码，进行解码并处理获得气味信息，然后散发该信息对应的气味。上述方法仅对当前环境中的所有气味进行信号编码传输，这些气味信息仅与编码的时间段有关。因此，这种方法无法将气味信息与视频中的物体或者是视频内容结合起来，观看者可能会因此嗅到与观看到的视频内容无关的气味，无法使得视频中的不同物体给用户带来不同感知，影响用户的观看体验。
技术实现思路
本申请提供一种视频处理方法和装置，能够将物体的感知属性与物体在视频中的空间位置相关联，从而获得更好的用户体验。第一方面，提供了一种视频处理方法，包括：服务器获取源视频数据；所述服务器确定所述源视频数据中需要对感知属性信息进行编码的至少一个物体，所述感知属性信息用于表示所述至少一个物体在被用户感知时所呈现出的性质；所述服务器获取所述至少一个物体的所述感知属性信息和所述至少一个物体的空间位置信息；所述服务器将所述感知属性信息和所述空间位置信息添加到对所述源视频数据编码后生成的视频码流中或所述源视频数据的视频文件中，其中，所述视频文件用于描述所述源视频数据的视频属性。具体地，感知属性信息即为表示物体的感知属性的信息，具体用于表示物体在被用户感知时所呈现出的性质，例如，嗅觉、触觉等。空间位置信息用于表示物体在视频中的空间位置，以全景视频为例，物体的空间位置信息为物体在以感知属性信息捕获装置为球心的坐标系内的三维位置坐标，具体可以结合物体在经纬图的二维坐标和物体与上述感知属性捕获装置之间的距离计算得到，但本申请实施例对此不作限定。应理解，在感知属性信息和空间位置信息携带在辅助增强信息SEI或媒体文件格式中的情况下，上述空间位置信息还可以包括物体在图像中的二维位置信息，例如，物体在经纬图的二维坐标。本申请实施例的视频处理方法，通过将除了视觉和听觉之外的其他人体感知属性表示在视频码流或视频文件中，并将物体的感知属性与物体的空间位置相关联，使得视频中的不同物体给用户带来不同感知，从而获得更好的用户体验。应理解，上述视频码流为服务器对源视频数据进行编码后得到的码流，其中可以包括编码单元CU、辅助增强信息SEI等，而上述视频文件是用于描述该源视频数据(或者还包括该视频码流)的全部或部分文件，具体可以包括媒体文件格式、媒体呈现描述MPD等。结合第一方面，在第一方面的某些实现方式中，所述服务器将所述感知属性信息和所述空间位置信息添加到视频码流或视频文件，包括：所述服务器确定所述至少一个物体中目标物体的语法元素，所述语法元素用于表示所述目标物体的感知属性信息和所述目标物体的空间位置信息；所述服务器将所述语法元素编码到与所述目标物体对应的编码单元CU语法结构体或辅助增强信息SEI中，获得所述视频码流。具体地，针对上述至少一个目标物体中某个特定的物体，以目标物体为例，服务器可以确定该目标物体的感知属性信息和空间位置信息，进一步确定其对应的语法元素，将该语法元素添加到与该目标物体对应的CU或SEI中，进行编码。这样，终端设备在对视频码流进行解码的时候，可以从该目标物体对应的CU或SEI中获取该目标物体的感知属性信息和空间位置信息，进而对该目标物体的感知属性进行解析渲染。结合第一方面，在第一方面的某些实现方式中，所述服务器将所述感知属性信息和所述空间位置信息添加到视频码流或视频文件，包括：所述服务器确定所述至少一个物体中目标物体的语法元素，所述语法元素用于表示所述目标物体的感知属性信息和所述目标物体的空间位置信息；所述服务器将所述语法元素添加到所述视频文件的媒体文件格式或媒体呈现描述MPD中。具体地，针对上述至少目标一个物体中某个特定的物体，以目标物体为例，服务器可以确定该目标物体的感知属性信息和空间位置信息，进一步确定其对应的语法元素，将该语法元素添加到媒体文件格式或MPD中。此时，对应的视频文件可以进行编码，也可以不进行编码，本申请实施例对此不作限定。这样，终端设备在进行解码的时候可以从视频文件的媒体文件格式或MPD中获取该目标物体的感知属性信息和空间位置信息，进而对该目标物体的感知属性进行解析渲染。结合第一方面，在第一方面的某些实现方式中，所述至少一个物体的空间位置信息包括所述至少一个物体与感知属性信息捕获装置之间的距离度量值；所述至少一个物体的感知属性信息包括下列信息中的至少一种：所述至少一个物体的气味码、所述至少一个物体的气味最大强度、所述至少一个物体的触感码以及所述至少一个物体的触感最大强度，其中，所述气味码用于表示所述至少一个物体散发的气味类型，所述触感码用于表示所述至少一个物体被碰触时用户的触感类型。结合第一方面，在第一方面的某些实现方式中，所述视频码流或所述视频文件包括标志位，所述标志位用于表示所述至少一个物体的所述感知属性信息是否需要被解析。具体地，上述视频码流或视频文件中还可以携带用于表示该至少一个物体的感知属性信息是否需要被解析的标志位，该终端设备可以基于该标志位确定是否需要解析视频码流或视频文件中的感知属性信息。结合第一方面，在第一方面的某些实现方式中，所述标志位包括在所述视频码流的头结构中；或所述标志位包括在所述视频码流的所述感知属性信息中；或所述标志位包括在所述视频文件的盒子box中。第二方面，提供了另一种视频处理方法，包括：终端设备获取视频码流或视频文件，所述视频码流或所述视频文件中携带至少一个物体的感知属性信息和所述至少一个物体的空间位置信息，所述感知属性信息用于表示所述至少一个物体在被用户感知时所呈现出的性质，其中，所述视频码流为对源视频数据编码后生成的，所述视频文件用于描述所述源视频数据的视频属性；所述终端设备获得所述视频码流或所述视频文件中至少一个目标物体的感知属性信息和所述至少一个目标物体的空间位置信息，所述至少一个物体包括所述至少一个目标物体；所述终端设备基于所述用户的行为，结合所述至少一个目标物体的感知属性信息和所述至少一个目标物体的空间位置信息，对所述至少一个目标物体的感知属性进行感知渲染。具体地，终端设备可以从服务器或者从自身的存储器处获取携带有至少一个物体的感知属性信息和空间位置信息的视频码流或视频文件，该终端设备从该至少一个物体中确定当前需要解析的至少一个目标物体，并获取该至少一个目标物体的感知属性信息和空间位置信息，结合用户的行为对该至少一个目标物体的感知属性进行渲染。应理解，终端设备可以获取该视频码流或视频文件中全部物体的感知属性信息本文档来自技高网...

【技术保护点】
1.一种视频处理方法，其特征在于，包括：服务器获取源视频数据；所述服务器确定所述源视频数据中需要对感知属性信息进行编码的至少一个物体，所述感知属性信息用于表示所述至少一个物体在被用户感知时所呈现出的性质；所述服务器获取所述至少一个物体的所述感知属性信息和所述至少一个物体的空间位置信息；所述服务器将所述感知属性信息和所述空间位置信息添加到对所述源视频数据编码后生成的视频码流中或所述源视频数据的视频文件中，其中，所述视频文件用于描述所述源视频数据的视频属性；所述服务器对所述视频码流或所述视频文件进行封装。

【技术特征摘要】
1.一种视频处理方法，其特征在于，包括：服务器获取源视频数据；所述服务器确定所述源视频数据中需要对感知属性信息进行编码的至少一个物体，所述感知属性信息用于表示所述至少一个物体在被用户感知时所呈现出的性质；所述服务器获取所述至少一个物体的所述感知属性信息和所述至少一个物体的空间位置信息；所述服务器将所述感知属性信息和所述空间位置信息添加到对所述源视频数据编码后生成的视频码流中或所述源视频数据的视频文件中，其中，所述视频文件用于描述所述源视频数据的视频属性；所述服务器对所述视频码流或所述视频文件进行封装。2.根据权利要求1所述的方法，其特征在于，所述服务器将所述感知属性信息和所述空间位置信息添加到视频码流或视频文件，包括：所述服务器确定所述至少一个物体中目标物体的语法元素，所述语法元素用于表示所述目标物体的感知属性信息和所述目标物体的空间位置信息；所述服务器将所述语法元素编码到与所述目标物体对应的编码单元CU语法结构体或辅助增强信息SEI中，获得所述视频码流。3.根据权利要求1所述的方法，其特征在于，所述服务器将所述感知属性信息和所述空间位置信息添加到视频码流或视频文件，包括：所述服务器确定所述至少一个物体中目标物体的语法元素，所述语法元素用于表示所述目标物体的感知属性信息和所述目标物体的空间位置信息；所述服务器将所述语法元素添加到所述视频文件的媒体文件格式或媒体呈现描述MPD中。4.根据权利要求1至3中任一项所述的方法，其特征在于，所述至少一个物体的空间位置信息包括所述至少一个物体与感知属性信息捕获装置之间的距离度量值；所述至少一个物体的感知属性信息包括下列信息中的至少一种：所述至少一个物体的气味码、所述至少一个物体的气味最大强度、所述至少一个物体的触感码以及所述至少一个物体的触感最大强度，其中，所述气味码用于表示所述至少一个物体散发的气味类型，所述触感码用于表示所述至少一个物体被碰触时用户的触感类型。5.根据权利要求1至4中任一项所述的方法，其特征在于，所述视频码流或所述视频文件包括标志位，所述标志位用于表示所述至少一个物体的所述感知属性信息是否需要被解析。6.根据权利要求5所述的方法，其特征在于，所述标志位包括在所述视频码流的头结构中；或所述标志位包括在所述视频码流的所述感知属性信息中；或所述标志位包括在所述视频文件的盒子box中。7.一种视频处理方法，其特征在于，包括：终端设备获取视频码流或视频文件，所述视频码流或所述视频文件中携带至少一个物体的感知属性信息和所述至少一个物体的空间位置信息，所述感知属性信息用于表示所述至少一个物体在被用户感知时所呈现出的性质，其中，所述视频码流为对源视频数据编码后生成的，所述视频文件用于描述所述源视频数据的视频属性；所述终端设备获得所述视频码流或所述视频文件中至少一个目标物体的感知属性信息和所述至少一个目标物体的空间位置信息，所述至少一个物体包括所述至少一个目标物体；所述终端设备基于所述用户的行为，结合所述至少一个目标物体的感知属性信息和所述至少一个目标物体的空间位置信息，对所述至少一个目标物体的感知属性进行感知渲染。8.根据权利要求7所述的方法，其特征在于，所述终端设备获得所述视频码流或所述视频文件中至少一个目标物体的感知属性信息和所述至少一个目标物体的空间位置信息，包括：所述终端设备对所述视频码流进行解码，从与所述至少一个目标物体对应的编码单元CU语法结构体或辅助增强信息SEI中，获取所述至少一个目标物体的感知属性信息和所述至少一个目标物体的空间位置信息；或所述终端设备对所述视频文件进行解封装，从所述视频文件的媒体文件格式或媒体呈现描述MPD中，获取所述至少一个目标物体的感知属性信息和所述至少一个目标物体的空间位置信息。9.根据权利要求7或8所述的方法，其特征在于，所述至少一个物体的空间位置信息包括所述至少一个物体与感知属性信息捕获装置之间的距离度量值；所述至少一个物体的感知属性信息包括下列信息中的至少一种：所述至少一个物体的气味码、所述至少一个物体的气味最大强度、所述至少一个物体的触感码以及所述至少一个物体的触感最大强度，其中，所述气味码用于表示所述至少一个物体散发的气味类型，所述触感码用于表示所述至少一个物体被碰触时用户的触感类型。10.根据权利要求9所述的方法，其特征在于，所述终端设备基于所述用户的行为，结合所述至少一个目标物体的感知属性信息和所述至少一个目标物体的空间位置信息，对所述至少一个目标物体的感知属性进行渲染，包括：所述终端设备根据所述用户的当前位置、所述至少一个目标物体中第一目标物体的空间位置信息以及所述第一目标物体的气味最大强度，确定所述第一目标物体在所述用户的当前位置处的气味强度值；所述终端设备散发与所述气味强度值和所述第一目标物体的气味码对应的气味。11.根据权利要求9或10所述的方法，其特征在于，所述终端设备基于所述用户的行为，结合所述至少一个目标物体的感知属性信息和所述至少一个目标物体的空间位置信息，对所述至少一个目标物体的感知属性进行渲染，包括：所述终端设备根据所述用户的触碰点的当前位置、所述至少一个目标物体中第二目标物体的空间位置信息以及所述第二目标物体的触感最大强度，确定所述第二目标物体在所述用户的触碰点处的触碰强度值；所述终端设备向所述用户反馈与所述触碰强度值和所述第二目标物体的触感码对应的触觉感知。12.根据权利要求7至11中任一项所述的方法，其特征在于，所述视频码流或所述视频文件包括标志位，所述标志位用于表示所述至少一个物体的所述感知属性信息是否需要被解析；在所述终端设备基于用户的视角以及所述视频码流或所述视频文件，获得所述用户当前视角内的至少一个目标物体的感知属性信息之前，包括：所述终...

【专利技术属性】
技术研发人员：宋翼，邸佩云，曾旭红，刘茂征，查钧，周建同，
申请(专利权)人：华为技术有限公司，
类型：发明
国别省市：广东,44