一种视频结构化信息的叠加方法、用户终端及叠加系统技术方案

本发明专利技术提供了一种视频结构化信息的叠加方法、用户终端及叠加系统，该方法包括：用户终端接收至少一个视频帧,该视频帧为视频源服务器同步发送给用户终端和算法服务器的；同时，该用户终端还接收算法服务器发送的结构化信息，该结构化信息为算法服务器识别视频帧中的监测目标并根据监测目标生成的；最后，用户终端根据视频帧的时间戳、结构化信息中的视频时间戳和自定义信息的位置坐标将自定义信息叠加至视频帧中。在本发明专利技术实施例中算法服务器仅用于生成结构化信息，无需进行结构化信息叠加，结构化信息叠加过程由用户终端来执行，提高了结构化信息的叠加速度，从而既保证了视频流显示的实时性，又降低了对叠加系统软硬件配置的要求。

【技术实现步骤摘要】

本专利技术涉及视频处理
，具体而言，涉及一种视频结构化信息的叠加方法、用户终端及叠加系统。
技术介绍
目前，随着视频处理技术的迅速发展，通过视频叠加技术可以满足不同用户对视频中的自定义信息的不同需求，将一些自定义信息叠加到视频中特定视频帧中指定的位置，再将叠加有自定信息的视频呈现给用户，如，用户终端申请订阅某一主题信息，此时需要将该主题信息叠加到视频中，再将叠加有该主题信息的视频发送至相应的用户终端。当前，相关技术中提供了一种视频结构化信息的叠加方法，该方法主要是：首先，视频源服务器将视频流发送至算法服务器，然后，算法服务器直接将输出的结构化信息叠加到视频中相应的图像上，并经过二次编码将叠加有结构化信息的视频发布到流媒体服务器中，最后，用户终端直接拉取该流媒体服务器中的视频流进行播放。即需要增加一个流媒体服务器，因而，增加了系统软硬件配置成本；另外，算法服务器进行实时视频的处理时，不仅需要生成待叠加的结构化信息，还需要将该待叠加的结构化信息叠加至视频中，需要大量的计算且处理的效率需要实时，至少要保证处理的速度与视频的帧率相同，普通的电脑很难做到，同时还需满足多路视频同时进行，因而要求必须是专门的服务器来并行完成这些任务。在实现本专利技术的过程中，专利技术人发现相关技术中至少存在以下问题：相关技术中的视频信息叠加技术需要由算法服务器生成与视频流相关的结构化信息，同时将该结构化信息叠加至视频流的相应视频帧的特定位置处，由于实时视频处理过程中，算法服务器处理数据量大且需要保证视频显示的实时性，因而，需要保证视频信息叠加速度，进而对视频信息叠加系统的配置要求高。
技术实现思路
有鉴于此，本专利技术实施例的目的在于提供一种视频结构化信息的叠加方法、用户终端及叠加系统，以提高结构化信息的叠加速度，从而实现既保证视频流显示的实时性，又降低对叠加系统软硬件配置的要求。第一方面，本专利技术实施例提供了一种视频结构化信息的叠加方法，该方法包括：用户终端接收至少一个视频帧,所述视频帧为视频源服务器同步发送给所述用户终端和算法服务器的；所述用户终端接收所述算法服务器发送的结构化信息，所述结构化信息为所述算法服务器识别所述视频帧中的监测目标并根据所述监测目标生成的，所述结构化信息包括视频时间戳、所述监测目标对应的自定义信息、以及所述自定义信息的位置坐标；所述用户终端根据所述视频帧的时间戳、所述视频时间戳和所述位置坐标将所述自定义信息叠加至所述视频帧中。结合第一方面，本专利技术实施例提供了第一方面的第一种可能的实施方式，其中，所述用户终端分别通过不同的线程接收所述视频帧和所述结构化信息。结合第一方面，本专利技术实施例提供了第一方面的第二种可能的实施方式，其中，所述用户终端接收至少一个视频帧之后，还包括：对各个所述视频帧进行缓存处理，并逐一对缓存后的所述视频帧进行解码和表面渲染处理，按照表面渲染的先后顺序逐帧输出表面渲染后的所述视频帧；所述用户终端接收所述算法服务器发送的结构化信息之后，还包括：将接收到的多个所述结构化信息依次存入缓存队列中。结合第一方面的第二种可能的实施方式，本专利技术实施例提供了第一方面的第三种可能的实施方式，其中，所述用户终端根据所述视频帧的时间戳、所述视频时间戳和所述位置坐标将所述自定义信息叠加至所述视频帧中，包括：根据所述视频帧的时间戳和所述视频时间戳从所述缓存队列中选取与所述视频帧对应的所述结构化信息；从所述结构化信息中提取所述自定义信息和所述位置坐标；将所述自定义信息叠加至所述视频帧中的所述位置坐标处。结合第一方面的第三种可能的实施方式，本专利技术实施例提供了第一方面的第四种可能的实施方式，其中，所述根据所述视频帧的时间戳和所述视频时间戳从所述缓存队列中选取与所述视频帧对应的所述结构化信息之前,还包括：判断所述缓存队列中是否存在所述结构化信息，若存在，则按照存入所述缓存队列的先后顺序逐一选取一个所述结构化信息，从所述结构化信息中提取所述视频时间戳。结合第一方面的第四种可能的实施方式，本专利技术实施例提供了第一方面的第五种可能的实施方式，其中，所述根据所述视频帧的时间戳和所述视频时间戳从所述缓存队列中选取与所述视频帧对应的所述结构化信息,包括：根据所述视频时间戳和所述视频帧的时间戳确定对所述结构化信息的处理方式；使用所述处理方式对所述结构化信息进行相应的处理，所述处理方式包括：将所述结构化信息作为与所述视频帧对应的结构化信息、将所述结构化信息返回所述缓存队列中、或者将所述结构化信息从所述缓存队列中清除；当确定出所述处理方式为将所述结构化信息作为与所述视频帧对应的结构化信息、或者确定出所述处理方式为将所述结构化信息返回所述缓存队列中时，终止选取下一个所述结构化信息的操作，并为所述视频帧的后一帧选取对应的结构化信息。结合第一方面的第五种可能的实施方式，本专利技术实施例提供了第一方面的第六种可能的实施方式，其中，所述根据所述视频时间戳和所述视频帧的时间戳确定对所述结构化信息的处理方式,包括：当所述视频时间戳与所述视频帧的时间戳一致时，确定对所述结构化信息的处理方式为将所述结构化信息作为与所述视频帧对应的结构化信息；当所述视频时间戳与所述视频帧的时间戳不一致时，判断所述视频时间戳是否大于所述视频帧的时间戳，若是，则确定对所述结构化信息的处理方式为将所述结构化信息返回所述缓存队列中，若否，则确定对所述结构化信息的处理方式为将所述结构化信息从所述缓存队列中清除。第二方面，本专利技术实施例还提供了一种用户终端，该用户终端包括：视频帧接收模块，用于接收至少一个视频帧,所述视频帧为视频源服务器同步发送给所述用户终端和算法服务器的；结构化信息接收模块，用于接收所述算法服务器发送的结构化信息，所述结构化信息为所述算法服务器识别所述视频帧中的监测目标并根据所述监测目标生成的，所述结构化信息包括视频时间戳、所述监测目标对应的自定义信息、以及所述自定义信息的位置坐标；信息叠加模块，用于根据所述视频帧的时间戳、所述视频时间戳和所述位置坐标将所述自定义信息叠加至所述视频帧中。结合第二方面，本专利技术实施例提供了第二方面的第一种可能的实施方式，其中，所述用户终端分别通过不同的线程接收所述视频帧和所述结构化信息。结合第二方面，本专利技术实施例提供了第二方面的第二种可能的实施方式，其中，所述用户终端还包括：视频帧处理模块，用于对各个所述视频帧进行缓存处理，并逐一对缓存后的所述视频帧进行解码和表面渲染处理，按照表面渲染的先后顺序逐帧输出表面渲染后的所述视频帧；结构化信息缓存模块，用于将接收到的多个所述结构化信息依次存入缓存队列中。结合第二方面的第二种可能的实施方式，本专利技术实施例提供了第二方面的第三种可能的实施方式，其中，所述信息叠加模块包括：选取单元，用于根据所述视频帧的时间戳和所述视频时间戳从所述缓存队列中选取与所述视频帧对应的所述结构化信息；提取单元，用于从所述结构化信息中提取所述自定义信息和所述位置坐标；叠加单元，用于将所述自定义信息叠加至所述视频帧中的所述位置坐标处。结合第二方面的第三种可能的实施方式，本专利技术实施例提供了第二方面的第四种可能的实施方式，其中，所述信息叠加模块还包括：判断单元，用于判断所述缓存队列中是否存在所述结构化信息，若存在，则按照存入所述缓存队列的先后本文档来自技高网...

【技术保护点】
一种视频结构化信息的叠加方法，其特征在于，所述方法包括：用户终端接收至少一个视频帧,所述视频帧为视频源服务器同步发送给所述用户终端和算法服务器的；所述用户终端接收所述算法服务器发送的结构化信息，所述结构化信息为所述算法服务器识别所述视频帧中的监测目标并根据所述监测目标生成的，所述结构化信息包括视频时间戳、所述监测目标对应的自定义信息、以及所述自定义信息的位置坐标；所述用户终端根据所述视频帧的时间戳、所述视频时间戳和所述位置坐标将所述自定义信息叠加至所述视频帧中。

【技术特征摘要】
1.一种视频结构化信息的叠加方法，其特征在于，所述方法包括：用户终端接收至少一个视频帧,所述视频帧为视频源服务器同步发送给所述用户终端和算法服务器的；所述用户终端接收所述算法服务器发送的结构化信息，所述结构化信息为所述算法服务器识别所述视频帧中的监测目标并根据所述监测目标生成的，所述结构化信息包括视频时间戳、所述监测目标对应的自定义信息、以及所述自定义信息的位置坐标；所述用户终端根据所述视频帧的时间戳、所述视频时间戳和所述位置坐标将所述自定义信息叠加至所述视频帧中。2.根据权利要求1所述的方法，其特征在于，所述用户终端分别通过不同的线程接收所述视频帧和所述结构化信息。3.根据权利要求1所述的方法，其特征在于，所述用户终端接收至少一个视频帧之后，还包括：对各个所述视频帧进行缓存处理，并逐一对缓存后的所述视频帧进行解码和表面渲染处理，按照表面渲染的先后顺序逐帧输出表面渲染后的所述视频帧；所述用户终端接收所述算法服务器发送的结构化信息之后，还包括：将接收到的多个所述结构化信息依次存入缓存队列中。4.根据权利要求3所述的方法，其特征在于，所述用户终端根据所述视频帧的时间戳、所述视频时间戳和所述位置坐标将所述自定义信息叠加至所述视频帧中，包括：根据所述视频帧的时间戳和所述视频时间戳从所述缓存队列中选取与所述视频帧对应的所述结构化信息；从所述结构化信息中提取所述自定义信息和所述位置坐标；将所述自定义信息叠加至所述视频帧中的所述位置坐标处。5.根据权利要求4所述的方法，其特征在于，所述根据所述视频帧的时间戳和所述视频时间戳从所述缓存队列中选取与所述视频帧对应的所述结构化信息之前,还包括：判断所述缓存队列中是否存在所述结构化信息，若存在，则按照存入所述缓存队列的先后顺序逐一选取一个所述结构化信息，从所述结构化信息中提取所述视频时间戳。6.根据权利要求5所述的方法，其特征在于，所述根据所述视频帧的时间戳和所述视频时间戳从所述缓存队列中选取与所述视频帧对应的所述结构化信息,包括：根据所述视频时间戳和所述视频帧的时间戳确定对所述结构化信息的处理方式；使用所述处理方式对所述结构化信息进行相应的处理，所述处理方式包括：将所述结构化信息作为与所述视频帧对应的结构化信息、将所述结构化信息返回所述缓存队列中、或者将所述结构化信息从所述缓存队列中清除；当确定出所述处理方式为将所述结构化信息作为与所述视频帧对应的结构化信息、或者确定出所述处理方式为将所述结构化信息返回所述缓存队列中时，终止选取下一个所述结构化信息的操作，并为所述视频帧的后一帧选取对应的结构化信息。7.根据权利要求6所述的方法，其特征在于，所述根据所述视频时间戳和所述视频帧的时间戳确定对所述结构化信息的处理方式,包括：当所述视频时间戳与所述视频帧的时间戳一致时，确定对所述结构化信息的处理方式为将所述结构化信息作为与所述视频帧对应的结构化信息；当所述视频时间戳与所述视频帧的时间戳不一致时，判断所述视频时间戳是否大于所述视频帧的时间戳，若是，则确定对所述结构化信息的处理方式为将所述结构化信息返回所述缓存队列中，若否，则确定对所述结构化信息的处理方式为将所述结构化信息从所述缓存队列中清除。8.一种用户终端，其特征在于，所述用户终端包括：视频帧接收模块，用于接收至少一个视频帧,所述视频帧为视频源服务器同步发送给所述用户终端和算法服务器的；结构化信息接收模块，用于接收所述算法服务器发送的结构化信息，所述结构化信息为所述算法服务器识别所述...

【专利技术属性】
技术研发人员：张向阳，师少飞，
申请(专利权)人：东方网力科技股份有限公司，
类型：发明
国别省市：北京;11