一种处理多媒体信息的方法及装置制造方法及图纸

本发明专利技术公开了一种处理多媒体信息的方法和装置：获取表象信息，表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；根据获取到的表象信息建立用于表征表象信息的四维时空模型，四维时空模型具有能够以数字化形式表征随时间变化的表象信息的属性；将建立的四维时空模型进行编码处理，并将经过编码处理后的四维时空模型进行发送，在该方案中，建立的四维时空模型具有能够以数字化形式表征随时间变化的表象信息的属性，在一定程度上解决了时延问题，因此，本方案在一定程度上解决了现有技术中存在的具有时延的缺陷。

Method and device for processing multimedia information

The invention discloses a method and a device for processing multimedia information acquisition: representation of information, including the representation of information can be visually observed and / or to be able to use equipment to collect information for electromagnetic spectrum characterization of objects; according to the representation of information access to established for four-dimensional space-time model to characterize the representation of information, four-dimensional space-time model has to attribute in digital form with the characterization of representation information. The model will be established; four-dimensional space-time encoding, and the encoding process model of four-dimensional space for transmission, in this scheme, the model is able to four-dimensional space-time attributes in digital form with the characterization of representation of information time, in a certain extent to solve the delay problem, therefore, the solution to a certain extent has existed in the prior art Extended defect.

【技术实现步骤摘要】

本专利技术涉及通信
，尤其涉及一种处理多媒体信息的方法及装置。
技术介绍
随着通信技术的发展，人们对通信已经由最初的单一语音需求转变为对视频和音频的通信需求，因此，以传送语音、数据、视频为一体的视频通信业务在通信领域中越来越重要，并在会议电视、远程视频医疗、远程视频教育等方面应用的也越来越广泛。VR(VirtualReality，虚拟现实)技术是一种能够模拟人类视觉、听觉、触觉等感知行为的高度逼真的人机交互技术，利用该技术可以使人处于用计算机生成的环境中，通过感官语言、手势可以在其中用自然的方式进行“交互、对话”，并自由的运动，随意观察周围的事物，观到物、听到声、感到力，使人具有完全身临其境之感。但是目前将采集的多媒体信息采用VR技术处理的方法，由于不能处理实时采集的多媒体信息，因此，呈现多媒体信息的时间与多媒体信息所表示的真实场景时间存在时延。综上所述，目前处理多媒体信息的方法具有存在时延的缺陷。
技术实现思路
鉴于上述问题，提出了本专利技术，以便提供一种克服上述问题或者至少部分地解决上述问题的一种处理多媒体信息的方法和装置。依据本专利技术的第一方面，提供了一种处理多媒体信息的方法，获取表象信息，所述表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性；将建立的四维时空模型进行编码处理，并将经过编码处理后的四维时空模型进行发送。可选地，在根据本专利技术的上述实施例的处理多媒体信息的方法中，根据获取到的表象信息建立所述四维时空模型之前，所述方法还包括：根据所述表象信息计算与所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；根据所述表象信息建立用于表征所述表象信息的四维时空模型，具体包括：根据所述表象信息和所述声场信息，建立用于表征所述表象信息和所述声场信息的四维时空模型。可选地，在根据本专利技术的上述任一实施例的处理多媒体信息的方法中，根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，具体包括：对所述表象信息进行处理，得到第一标注信息；根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息、包括纹理信息的第二点云信息；将所述第一点云信息和所述第二点云信息进行融合，得到目标点云信息；根据所述目标点云信息得到视觉信息；根据所述视觉信息获得空间模型，将针对不同时刻的空间模型进行融合；根据融合得到的空间模块、所述第一标注信息和所述第二标注信息，得到所述四维时空模型。可选地，在根据本专利技术的上述任一实施例的处理多媒体信息的方法中，根据所述视觉信息获得空间模型之前，所述方法还包括：根据所述表象信息计算与所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；根据所述视觉信息获得空间模型，具体包括：将所述视觉信息和所述声场信息融合，得到所述空间模型。可选地，在根据本专利技术的上述任一实施例的处理多媒体信息的方法中，将所述第一点云信息和所述第二点云信息进行融合，得到目标点云信息之后，得到所述视觉信息之前，所述方法还包括：对所述目标点云信息进行处理，得到第二标注信息；根据所述目标点云信息，得到视觉信息，具体包括：根据所述第二标注信息和所述目标点云信息，得到所述视觉信息。可选地，在根据本专利技术的上述任一实施例的处理多媒体信息的方法中，根据所述第二标注信息和所述目标点云信息，得到所述视觉信息，具体包括：对所述目标点云信息进行几何顶点位置优化和法向计算，得到第一结果；将所述第一结果进行表面拟合和三角网格化处理，得到第二结果；根据所述第二结果和所述第二标注信息，得到所述视觉信息。可选地，在根据本专利技术的上述任一实施例的处理多媒体信息的方法中，对所述表象信息进行处理，得到第一标注信息，具体包括：对所述表象信息进行数字图像处理分析，得到所述第一标注信息。可选地，在根据本专利技术的上述任一实施例的处理多媒体信息的方法中，根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息，具体包括：根据所述第一标注信息对所述表象信息进行处理，得到与所述表象信息所对应的物体的坐标信息；根据所述坐标信息，生成包括所述几何信息的第一点云信息。可选地，在根据本专利技术的上述任一实施例的处理多媒体信息的方法中，根据所述第一标注信息和所述表象信息，得到包括纹理信息的第二点云信息，具体包括：采用逐点和/或图像合成的方式，根据所述第一标注信息，对所述表象信息进行提取信息处理，得到包括纹理信息的第二点云信息。可选地，在根据本专利技术的上述任一实施例的处理多媒体信息的方法中，根据所述第二标注信息和所述目标点云信息，得到视觉信息，包括：根据所述第二标注信息和所述目标点云信息，计算物体的表面法向信息；根据所述表面法向信息得到视觉信息。依据本专利技术的第二方面，提供了一种处理多媒体信息的装置获取单元，用于获取表象信息，所述表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；模型建立单元，用于根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性；处理单元，用于将建立的四维时空模型进行编码处理；发送单元，用于将经过编码处理后的四维时空模型进行发送。可选地，在根据本专利技术的上述实施例的处理多媒体信息的装置中，所述装置还包括声场信息计算单元，用于根据所述表象信息计算与所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；所述模型建立单元根据所述表象信息建立用于表征所述表象信息的四维时空模型时，具体为：根据所述表象信息和所述声场信息，建立用于表征所述表象信息和所述声场信息的四维时空模型。可选地，在根据本专利技术的上述任一实施例的处理多媒体信息的装置中，所述模型建立单元包括第一标注信息生成单元、点云信息生成单元、点云信息融合单元、视觉信息生成单元、四维时空模型生成单元，其中：所述第一标注信息生成单元，用于对所述表象信息进行处理，得到第一标注信息；所述点云信息生成单元，用于根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息、包括纹理信息的第二点云信息；所述点云信息融合单元，用于将所述第一点云信息和所述第二点云信息进行融合，得到目标点云信息；所述视觉信息生成单元，用于根据所述目标点云信息得到视觉信息；所述四维时空模型生成单元，用于根据所述视觉信息获得空间模型，将针对不同时刻的空间模型进行融合，根据融合得到的空间模块、所述第一标注信息和所述第二标注信息，得到所述四维时空模型。可选地，在根据本专利技术的上述任一实施例的处理多媒体信息的装置中，所述装置还包括声场信息计算单元，用于根据所述表象信息计算所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；所述四维时空模型生成单元根据所述视觉信息获得空间模型时，具体为：将所述视觉信息和所述声场信本文档来自技高网...

【技术保护点】
一种处理多媒体信息的方法，包括：获取表象信息，所述表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性；将建立的四维时空模型进行编码处理，并将经过编码处理后的四维时空模型进行发送。

【技术特征摘要】
1.一种处理多媒体信息的方法，包括：获取表象信息，所述表象信息包括能够用肉眼观察到的和/或能够用设备采集到的用于表征物体的电磁场光谱信息；根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，所述四维时空模型具有能够以数字化形式表征随时间变化的所述表象信息的属性；将建立的四维时空模型进行编码处理，并将经过编码处理后的四维时空模型进行发送。2.如权利要求1所述的方法，根据获取到的表象信息建立所述四维时空模型之前，所述方法还包括：根据所述表象信息计算与所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；根据所述表象信息建立用于表征所述表象信息的四维时空模型，具体包括：根据所述表象信息和所述声场信息，建立用于表征所述表象信息和所述声场信息的四维时空模型。3.如权利要求1所述的方法，根据获取到的表象信息建立用于表征所述表象信息的四维时空模型，具体包括：对所述表象信息进行处理，得到第一标注信息；根据所述第一标注信息和所述表象信息，得到包括几何信息的第一点云信息、包括纹理信息的第二点云信息；将所述第一点云信息和所述第二点云信息进行融合，得到目标点云信息；根据所述目标点云信息得到视觉信息；根据所述视觉信息获得空间模型，将针对不同时刻的空间模型进行融合；根据融合得到的空间模块、所述第一标注信息和所述第二标注信息，得到所述四维时空模型。4.如权利要求3所述的方法，根据所述视觉信息获得空间模型之前，所述方法还包括：根据所述表象信息计算与所述表象信息对应的物体的声场信息，所述表象信息还包括能够用耳朵感觉到的和/或能够用设备采集到的声场信息；根据所述视觉信息获得空间模型，具体包括：将所述视觉信息和所述声场信息融合，得到所述空间模型。5.如权利要求3所述的方法，将所述第一点...

【专利技术属性】
技术研发人员：冯歆鹏，周骥，
申请(专利权)人：冯歆鹏，周骥，
类型：发明
国别省市：上海;31