一种同步显示AR信息的视频播放方法技术

本发明专利技术涉及一种同步显示AR信息的视频播放方法，包括以下步骤：通过AR摄像机拍摄含有AR信息的视频码流；从视频码流中逐帧提取AR信息，在提取过程中生成字幕信息，并将字幕信息存储为字幕文件；将AR信息提取出来后的视频码流存储为视频文件；将字幕文件和视频文件合并为通用视频文件；在第三方播放器中将通用视频文件解析播放。本发明专利技术可以使得AR摄像机所拍摄的含有AR信息的视频可以在第三方播放器中解析，并在视频播放过程中可以同步显示AR信息。

【技术实现步骤摘要】
一种同步显示AR信息的视频播放方法
本专利技术涉及增强现实视频的播放技术，具体涉及一种同步显示AR信息的视频播放方法。
技术介绍
增强现实技术(AugmentedReality，简称AR)是指一种实时地计算摄影机影像的位置及角度并加上相应图像、视频、3D模型的技术。AR摄像机所拍摄的视频码流中会加上AR信息，AR信息是指在在目标物对应位置上的标签，标签上记录了目标物的自身属性，如名称、地理位置、介绍、特性等。在播放视频码流的过程中需要解析出AR信息，使AR信息可以与视频播放同步显示，但是现有的通用第三方播放器只能解析音频文件、视频文件、字幕文件，不能解析AR信息，因此需要寻找将AR摄像机所拍摄的视频在通用第三方播放器中播放的方法。
技术实现思路
本专利技术为了克服上述现有技术所述的至少一种缺陷(不足)，提供一种同步显示AR信息的视频播放方法，使得AR摄像机所拍摄的含有AR信息的视频可以在第三方播放器中解析，并在视频播放过程中可以同步显示AR信息。为实现本专利技术的目的，采用以下技术方案予以实现：一种同步显示AR信息的视频播放方法，包括以下步骤：S1.通过AR摄像机拍摄含有AR信息的视频码流；S2.从视频码流中逐帧提取AR信息，在提取过程中生成字幕信息，并将字幕信息存储为字幕文件；S3.将AR信息提取出来后的视频码流存储为视频文件；S4.将字幕文件和视频文件合并为通用视频文件；S5.在第三方播放器中将通用视频文件解析播放。AR摄像机在拍摄视频时会将AR信息存储在视频码流中，在第三方播放器中对视频码流解析播放之前，因为现有常用的第三方播放器不能解析视频码流中的AR信息，所以需要对视频码流中的AR信息进行提取分离，具体的提取过程是逐帧读取视频码流，从每一帧视频码流中提取AR信息，AR信息提取后剩下的是现有常用的第三方播放器可以解析播放的视频码流。在从视频码流中逐帧提取AR信息的过程中生成字幕信息，并且将字幕信息存储为字幕文件，将AR信息提取后剩下的视频码流存储为视频文件，将字幕文件与视频文件合并为通用视频文件，此时即可以在第三方播放器中解析播放该通用视频文件，实现在视频播放的过程中同步显示AR信息的播放效果。进一步地，所述字幕信息包括各个AR信息的显示时间、显示坐标、显示内容。在实现视频播放的过程中同步显示AR信息时，需要知道AR信息具体在视频播放的哪个时间点或时间段出现，也需要知道AR信息具体在画面中的哪个位置出现，还需要知道AR信息具体显示的内容，因此在从视频码流中逐帧提取AR信息的过程中所生成的字幕信息需要包括各个AR信息的显示时间、显示坐标和显示内容。进一步地，生成字幕信息中某AR信息的显示时间具体为：若该AR信息在第V1帧视频出现，在第V2帧视频消失，第V1帧视频的时间为t1，第V2帧视频的时间为t2，第1帧视频的时间为t0，则该AR信息的显示开始时间t＝t1–t0，结束时间t＝t2-t0。在逐帧读取视频码流的过程中，从第V1帧视频开始可以提取到某AR信息，直到第V2帧视频为止，该AR信息的出现时间为从第V1帧视频的时间t1到第V2帧视频的时间t2，第1帧视频的时间为t0，因此该AR信息的显示开始时间t＝t1–t0，结束时间t为t2-t0。进一步地，生成字幕信息中某AR信息的显示坐标具体为：根据拍摄每一帧视频时AR摄像机的参数和每一帧视频中所出现的该AR信息对应的目标物三维坐标(p，t)，计算出该AR信息的显示坐标(Δx，Δy)；p、t分别是该AR信息在三维球面极坐标系下的水平角度和垂直角度，Δx、Δy分别是该AR信息在第三方播放器播放时在画面中心的水平偏移量和垂直偏移量。当AR摄像机转动或者变倍时，在视频播放时目标物在画面上的位置会改变，而AR信息的显示位置需要跟随目标物在画面上的移动而改变，这时需要重新计算AR信息的显示坐标，因此在逐帧提取视频码流的过程中，逐帧获取AR摄像机的参数和所出现的AR信息对应的目标物三维坐标(p，t)，根据参数和(p，t)计算每一帧视频中AR信息的显示坐标(Δx，Δy)。进一步地，所述参数包括AR摄像机的镜头水平角度P、镜头垂直夹角T、水平视场角V，采用公式和公式△p＝p-P计算出AR信息的显示坐标(Δx，Δy)，其中tan、sin、cos分别表示正切函数、正弦函数、余弦函数，在通用视频文件解析播放时画面的分辨率是W×H，R是球面半径且采用上述公式，可以在逐帧读取视频码流的过程中根据AR摄像机在拍摄每一帧视频时的镜头水平角度P、镜头垂直夹角T、水平视场角V快速地计算出每一帧视频中目标物在画面上的位置，也即可以快速地计算出每一帧视频中AR信息在画面上的显示坐标(Δx，Δy)。这里需要说明的是AR信息的目标物三维坐标(p，t)是在世界坐标下的。另外，公式还可以化为如下公式：进一步地，生成字幕信息中某AR信息的显示内容具体为该AR信息的文本内容。AR信息的文本内容记录了目标物的自身属性，如名称、地理位置、介绍、特性等。进一步地，所述步骤S2具体为：根据AR信息的显示内容不同和/或AR信息对应的目标物不同，按照设定的规则分成不同类型的AR信息，从视频码流中逐帧提取不同类型的AR信息，在提取过程中所生成的字幕信息分别存储为不同的字幕文件；所述步骤S4具体为：根据用户的请求，指定全部或部分字幕文件和视频文件合并为通用视频文件。不同用户在观看同一个视频时，所关注的目标物是不同的，所希望看到AR信息的显示内容也是不同的。例如，在一段播放附近街景的视频中，学生会更加关注附近街景中出现的文具店、玩具店、零食店等，并且会更加希望看到关于这些店铺售卖商品的介绍等，而餐厅老板会更加关注附近街景中出现的餐饮店，并且会更加希望看到关于这些餐饮店的主营菜品等。因此，在逐帧读取视频码流的过程中，需要根据显示内容的不同和/或目标物的不同将AR信息分成不同的类型，并且分别储存在不同的字幕文件中，灵活地、更有针对性地根据不同用户的需求进行字幕文件的筛选，再将筛选出来的字幕文件与视频文件合并成通用视频文件。进一步地，所述步骤S5具体为：根据用户的请求，指定通用视频文件中全部或部分字幕文件和视频文件在第三方视频播放器中解析播放出来。在通用视频文件解析播放时，如果有过多的字幕文件与视频文件一起解析出来，画面中则会出现过多的AR信息，导致用户在观看视频时感到眼花缭乱，甚至会出现AR信息占满画面而使用户无法观看视频的情况。因此，需要根据用户的请求，灵活地、更有针对性地对字幕文件进行筛选，再将筛选出来的字幕文件与视频文件解析播放。与现有技术相比，本专利技术技术方案的有益效果是：(1)通过逐帧提取AR摄像机所拍摄的视频码流中的AR信息，将提取出来的AR信息存储为字幕文件，提取AR信息后的视频码流存储为视频文件，并将字幕文件与视频文件合并为可供第三方播放器解析播放的通用视频文件，可以使得AR摄像机所拍摄的含有AR信息的视频在通用的第三方播放器中播放，并且在视频播放过程中同步显示AR信息；(2)根据AR信息的显示内容不同和AR信息对应目标物的不同，将AR信息进行分类，不同类型的AR信息存储为不同的字幕文件，可以使得在视频播放时，可以灵活地、有针对性地选择若干种类型的AR信息同步显示。附图说明图1是本专利技术实施例的方法流程图。图2是本文档来自技高网...

【技术保护点】
1.一种同步显示AR信息的视频播放方法，其特征在于，包括以下步骤：S1.通过AR摄像机拍摄含有AR信息的视频码流；S2.从视频码流中逐帧提取AR信息，在提取过程中生成字幕信息，并将字幕信息存储为字幕文件；S3.将AR信息提取出来后的视频码流存储为视频文件；S4.将字幕文件和视频文件合并为通用视频文件；S5.在第三方播放器中将通用视频文件解析播放。

【技术特征摘要】
1.一种同步显示AR信息的视频播放方法，其特征在于，包括以下步骤：S1.通过AR摄像机拍摄含有AR信息的视频码流；S2.从视频码流中逐帧提取AR信息，在提取过程中生成字幕信息，并将字幕信息存储为字幕文件；S3.将AR信息提取出来后的视频码流存储为视频文件；S4.将字幕文件和视频文件合并为通用视频文件；S5.在第三方播放器中将通用视频文件解析播放。2.根据权利要求1所述的同步显示AR信息的视频播放方法，其特征在于，所述字幕信息包括各个AR信息的显示时间、显示坐标、显示内容。3.根据权利要求2所述的同步显示AR信息的视频播放方法，其特征在于，生成字幕信息中某AR信息的显示时间具体为：若该AR信息在第V1帧视频出现，在第V2帧视频消失，第V1帧视频的时间为t1，第V2帧视频的时间为t2，第1帧视频的时间为t0，则该AR信息的显示开始时间t＝t1–t0，结束时间t＝t2-t0。4.根据权利要求2所述的同步显示AR信息的视频播放方法，其特征在于，生成字幕信息中某AR信息的显示坐标具体为：根据拍摄每一帧视频时AR摄像机的参数和每一帧视频中所出现的该AR信息对应的目标物三维坐标(p，t)，计算出该AR信息的显示坐标(Δx，Δy)；p、t分别是该AR信息在三维球面极坐标系下的水平角度和垂直角度，Δ...

【专利技术属性】
技术研发人员：李介彬，黄仝宇，汪刚，宋一兵，侯玉清，刘双广，
申请(专利权)人：高新兴科技集团股份有限公司，
类型：发明
国别省市：广东,44