一种多协议视频数据采集系统及其实现方法技术方案

本发明专利技术提出了一种多协议视频数据采集系统及其实现方法，所述系统的数据采集集群将多类负载均衡设备接入的大量多协议设备采集数据转换为统一标准数据，数据采集集群包括多个接入模块、数据通道和协转处理模块，每类负载均衡设备对应连接多个接入模块，每个接入模块与数据通道之间对应连接，每个数据通道连接多个协转处理模块；解决了视频结构化数据的接入问题，可根据目标接收设备灵活的配置采集源，极大的提高了对标准设备的接入能力；克服了大量视频结构化数据回传压力大、调度难、接入开发量巨大的难题；具有高吞吐量、插件式适配数据源和接收源、动态增加采集能力的优势，兼容采集设备固件，使得数据提供方不在担心批量升级固件带来的风险。

【技术实现步骤摘要】
一种多协议视频数据采集系统及其实现方法
本专利技术涉及数据采集
，尤其涉及一种多协议视频数据采集系统及其实现方法。
技术介绍
视频结构化的数据采集，目前通用的是公安部的标准，或是各厂家私有的采集方式，虽然公安部的采集标准有一定的通用性，但在采集标准中让采集服务承担了一些数据接入的角色，对于平台级的数据采集，设备部署所需花费十分巨大，虽然能做到采集设备的标准统一，但是平台的管理成本和部署成本无疑形成了巨大的浪费，且采集服务的职责划分不太清晰，服务提供者和数据接入厂家在标准的接入上面仍需要花费大量的开发精力；而私有协议因为不通用问题或业务影响力不够导致数据协议推广十分困难。
技术实现思路
本专利技术的目的在于，针对上述问题，提出一种多协议视频数据采集系统，数据采集集群将多类负载均衡设备接入的大量多协议设备采集数据转换为统一标准数据，包括多个接入模块、数据通道和协转处理模块，每类负载均衡设备对应连接多个接入模块，每个接入模块与数据通道之间对应连接，每个数据通道连接多个协转处理模块。进一步的，所述数据采集集群接收并转化的多协议设备采集数据为结构化数据，所述结构化数据包括图片数据和结构化描述数据。进一步的，所述接入模块和协转处理模块采用插件编程方式兼容多协议设备的固件或算法系统，并内置统一的数据标准。进一步的，所述系统还包括用于存储标准数据和属性数据的消息队列缓存。一种多协议视频数据采集实现方法，包括以下步骤：每类负载均衡设备负责实现相同协议的设备接入，并将相同协议设备的采集数据分发到指定端口的接入模块；接入模块对接入数据进行处理并分发至对应的数据通道；数据通道使用正则表达式或拦截器对数据进行分捡处理，送到不同的协转处理模块；协转处理模块处理接收数据，对数据进行标准转换、级联操作。进一步的，所述接入模块根据自身监听的端口决定接入设备类型，通过HTTP、RPC、TCP接入方式完成数据接入处理。进一步的，所述接入模块通过SDK前置机将数据解析成单帧数据后通过RPC方式进行特殊接入方式的数据接入处理。进一步的，所述数据通道采用内存型或文件型通道。进一步的，所述协转处理模块通过以下模块执行数据标准转换和级联操作：源协议解析单元：按照对应设备的数据格式进行解析；转换单元：以值对象到值对象的转换方式转换解析数据为标准协议格式或内部协议格式数据；发送单元：将转换后的标准数据和属性数据发送至消息队列缓存或外部接收方，并进行级联操作；所述外部接收方包括第三方系统；所述属性数据为转换单元转换过程中的非必要数据，采用Map数据格式进行存储。进一步的，在进行内部数据交换时，采用内存、文件、消息队列三种方式进行。本专利技术的有益效果：解决了视频结构化海量数据的接入问题，可根据目标接收设备灵活的配置采集源，内置支撑公安视频图像库标准1400协议，极大的提高了对标准设备的接入能力；采用负载均衡和接入多线程的形式极大的提高了接入平台级前端设备时，产生海量数据的吞吐能力，克服了大量视频结构化数据回传压力大、调度难、接入开发量巨大的难题。具有高吞吐量、插件式适配数据源和接收源、动态增加采集能力的优势，可结合云计算打造可动态伸缩的视频结构化数据采集服务，可在长期作为数据入口时，保证该入口的稳定性；负载均衡采用软负载方式，同时兼容采集设备固件，这使得数据提供方不在担心批量升级固件带来的风险。附图说明图1是本专利技术系统结构图；图2是本专利技术协转处理流程图。具体实施方式为了对本专利技术的技术特征、目的和效果有更加清楚的理解，现对照附图说明本专利技术的具体实施方式。如图1所示的一种多协议视频数据采集系统，数据采集集群将多类负载均衡设备接入的大量多协议设备采集数据转换为统一标准数据，所述数据采集集群包括多个接入模块、数据通道和协转处理模块，每类负载均衡设备对应连接多个接入模块，每个接入模块与数据通道之间对应连接，每个数据通道连接多个协转处理模块。所述多类负载均衡设备中，每类负载均衡设备均负责实现相同协议的设备接入，并将相同协议设备的采集数据分发到指定端口的接入模块，在本实施例中，负载均衡采用软负载方式实现，负载均衡后面部署不同协议的采集设备，即数据采集集群。数据采集集群的主要功能是接收结构化数据，这些数据一般包含图片数据和结构化描述数据；当接入前端大量接入时，在集群前方部署多类负载均衡设备，可提高整个集群的数据吞吐量和稳定性；采集集群后方使用消息队列技术，对海量的数据进行消息队列缓存，进一步的保证集群的响应和吞吐量，消息队列缓存中保存转换后的标准数据和转换过程中产生的非必要的属性数据。所述接入模块与协转模块，均使用插件编程方式，同时内置了对公安1400数据协议标准。一种多协议视频数据采集实现方法，由负载均衡设备接入设备数据，并由特定类型的负载均衡设备分发到的指定端口的接入模块，接入模块根据自身监听的端口来决定接入厂家的类型；在进行内部数据交换时，考虑到接入数据的规模，一般会采用内存、文件、消息队列三种方式进行选择，数据通道有拦截模式，可根据正则表达式将数据分发到不同到协处理单元；协处理单元的功能是处理和发送数据，在接收到数据后，对数据进行转换操作，根据外部不同的接收方使用插件模式进行开发或配置，并实现数据的转换和发送。所述接入模块接入第三方系统上传的结构化数据，实现方式可为http、rpc、tcp等方式，最大限度的适配第三方系统的原有数据格式，对于第三方是固件的方式，将使用原有老系统不升级固件的情况下完成数据接入。接入过程因为各设备提供的方式多种多样，所以本系统中以插件编程的方式来兼容对方固件或算法系统，插件约定形成以开源的框架实现；所述接入模块的特点是兼容性和灵活性较强，从平台的角度来实现多个算法的接入实现，一般的接入可以为HTTP、RPC和TCP方式，针对于入口的处理可以根据服务器的配置，增加多线程数据分发处理机制，保证数据的吞吐；对于特殊的接入方式如SDK，可以使用SDK前置机的方式，由前置机通过SDK接入固件数据，再由前置机将数据解析成单帧数据后通过RPC方式进行接入上传。所述数据通道起着承上启下的作用，是数据的中间桥梁，根据数据量的不同，可使用内存型或文件型通道，在通道上可使用正则表达式或拦截器对数据进行分捡处理，送到不同的协转处理模块。协转处理模块主要功能是处理接收数据，对数据进行转换、级联操作，协处理单元的协议转换是按照对应厂家设备的数据格式，进行解析后，转换成标准协议格式内容或内部协议格式，该转换是以值对象到值对象的转换方式进行的，对于多出来的属性数据，内部采用Map的数据格式进行存储，防止数据丢失。如图2所示的协转处理模块包括源协议解析单元、转换单元以及发送单元；源协议解析单元：接收数据通道发送过来的原始数据并按照对应设备的数据格式进行解析，生成待处理数据；转换单元：接收待处理数本文档来自技高网...

【技术保护点】
1.一种多协议视频数据采集系统，数据采集集群将多类负载均衡设备接入的大量多协议设备采集数据转换为统一标准数据，其特征在于，包括多个接入模块、数据通道和协转处理模块，每类负载均衡设备均对应连接多个接入模块，每个接入模块与数据通道之间对应连接，每个数据通道连接多个协转处理模块。/n

【技术特征摘要】
1.一种多协议视频数据采集系统，数据采集集群将多类负载均衡设备接入的大量多协议设备采集数据转换为统一标准数据，其特征在于，包括多个接入模块、数据通道和协转处理模块，每类负载均衡设备均对应连接多个接入模块，每个接入模块与数据通道之间对应连接，每个数据通道连接多个协转处理模块。


2.根据权利要求1所述的一种多协议视频数据采集系统，其特征在于，所述数据采集集群接收并转化的多协议设备采集数据为结构化数据，所述结构化数据包括图片数据和结构化描述数据。


3.根据权利要求1所述的一种多协议视频数据采集系统，其特征在于，所述接入模块和协转处理模块采用插件编程方式兼容多协议设备的固件或算法系统，并内置统一的数据标准。


4.根据权利要求1所述的一种多协议视频数据采集系统，其特征在于，所述系统还包括用于存储标准数据和属性数据的消息队列缓存。


5.如权利要求1-4任意一项所述的一种多协议视频数据采集系统的实现方法，其特征在于，包括以下步骤：
每类负载均衡设备负责实现相同协议的设备接入，并将相同协议设备的采集数据分发到指定端口的接入模块；
接入模块对接入数据进行处理并分发至对应的数据通道；
数据通道使用正则表达式或拦截器对数据进行分捡处理，送到不同的协转处理模块；
协转处理模块处理接收数据，对数...

【专利技术属性】
技术研发人员：司天强，邓雄，苟林，杨垒，
申请(专利权)人：四川天翼网络服务有限公司，
类型：发明
国别省市：四川;51