一种基于数字视网膜的端、边、云协同系统及方法、设备技术方案

本申请能够提供一种基于数字视网膜的端、边、云协同系统及方法、设备，该协同系统可包括但不限于前端设备、边缘设备及云端设备。前端设备用于从采集的视频数据中提取出具有通用性的特征，并用于基于特征生成分析识别任务；前端设备还用于对分析识别任务进行处理，以得到用于发送至边缘设备的第一中间结果。边缘设备用于基于第一中间结果对分析识别任务进行处理，以得到用于发送至云端设备的第二中间结果。云端设备用于基于第二中间结果对分析识别任务进行处理，以生成视频数据的分析识别结果。基于本申请所提供的协同系统架构能够实现计算协同、特征协同以及模型协同，所以本申请技术方案具有高能效等优点，非常适用于处理大规模的视频数据。

【技术实现步骤摘要】
一种基于数字视网膜的端、边、云协同系统及方法、设备
本申请涉及视频数据处理
，更为具体来说，本申请能够提供一种基于数字视网膜的端、边、云协同系统及方法、设备。
技术介绍
传统的视频数据处理一般过程为：通过视频编码技术将被压缩之后的大规模视频传输到云端进行存储，并可对每个压缩的视频进行解码，然后进行视频分析和识别任务。更具体来说，云端收到的视频大部分用于存储；另一部分用于视频解码，并进行远程监视；只有小部分数据用于分析识别任务，云端存储占用非常大的资源且成本高。但是，近年来监控视频数据的数量呈指数级增长。即使不断提高视频压缩率，实际上能够用于分析识别任务上的视频数据仍然是少量的，导致视频大数据利用率低，视频大数据资源浪费严重，难以挖掘视频数据价值。
技术实现思路
为解决现有技术对视频大数据利用率较低、视频大数据浪费严重的问题，本申请能够提供一种基于数字视网膜的端、边、云协同系统及方法、设备，以解决现有技术存在的一个或多个问题。为实现上述技术目的，本申请一个或多个实施例公开了一种基于数字视网膜的端、边、云协同系统，该协同系统包括但不限于前端设备、边缘设备及云端设备。所述前端设备，用于从采集的视频数据中提取出具有通用性的特征，并用于基于所述特征生成分析识别任务；所述前端设备还用于对所述分析识别任务进行处理，以得到用于发送至所述边缘设备的第一中间结果。所述边缘设备，用于基于所述第一中间结果对所述分析识别任务进行处理，以得到用于发送至所述云端设备的第二中间结果。所述云端设备，用于基于所述第二中间结果对所述分析识别任务进行处理，以生成视频数据的分析识别结果。为实现上述技术目的，本申请一个或多个实施例公开了一种基于数字视网膜的端、边、云协同方法，该协同方法包括但不限于如下的至少一个步骤。从采集的视频数据中提取出具有通用性的特征。基于所述具有通用性的特征生成分析识别任务。利用前端设备对所述分析识别任务进行处理，以得到第一中间结果。基于所述第一中间结果利用边缘设备对所述分析识别任务进行处理，以得到第二中间结果。基于所述第二中间结果利用云端设备对所述分析识别任务进行处理，以生成视频数据的分析识别结果。为实现上述技术目的，本申请一个或多个实施例公开了一种前端设备，该设备包括但不限于摄像头、存储器及一个或多个处理器；所述摄像头用于采集视频数据，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：从采集的视频数据中提取出具有通用性的特征，基于所述具有通用性的特征生成分析识别任务，对所述分析识别任务进行处理，以得到用于发送至边缘设备的第一中间结果。其中，所述边缘设备用于基于所述第一中间结果对所述分析识别任务进行处理，以得到用于发送至云端设备的第二中间结果；所述云端设备用于基于所述第二中间结果对所述分析识别任务进行处理，以生成视频数据的分析识别结果。为实现上述技术目的，本申请一个或多个实施例公开了一种边缘设备，该设备包括但不限于处理器和一个或多个处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：基于第一中间结果对分析识别任务进行处理，以得到用于发送至云端设备的第二中间结果。其中，所述第一中间结果由前端设备处理分析识别任务而产生；所述前端设备用于从采集的视频数据中提取出具有通用性的特征，并用于基于所述具有通用性的特征生成分析识别任务；所述云端设备用于基于所述第二中间结果对所述分析识别任务进行处理，以生成视频数据的分析识别结果。为实现上述技术目的，本申请一个或多个实施例公开了一种云端设备，该设备包括但不限于存储器和一个或多个处理器，所述存储器中存储有计算机程序，所述计算机程序被所述处理器执行时，使得所述处理器执行如下步骤：基于第二中间结果对分析识别任务进行处理，以生成视频数据的分析识别结果。其中，所述第二中间结果由边缘设备处理分析识别任务而产生；所述边缘设备用于基于第一中间结果对分析识别任务进行处理，以得到用于发送至所述云端设备的第二中间结果；所述第一中间结果由前端设备处理分析识别任务而产生；所述前端设备用于从采集的视频数据中提取出具有通用性的特征，并用于基于所述具有通用性的特征生成所述分析识别任务。进一步地，所述前端设备，用于利用由所述云端设备训练完成的神经网络模型中第一数量目标层对所述分析识别任务进行处理。进一步地，所述边缘设备，用于利用由所述云端设备训练完成的神经网络模型中第二数量目标层对所述分析识别任务进行处理。进一步地，所述云端设备，用于利用由所述云端设备训练完成的神经网络模型中第三数量目标层对所述分析识别任务进行处理；其中，所述神经网络模型包括依次连接的所述第一数量目标层、所述第二数量目标层以及所述第三数量目标层。进一步地，多个所述前端设备之间用于进行同等级的分析识别任务分配和数据交换。多个所述边缘设备之间用于进行同等级的分析识别任务分配和数据交换。多个所述云端设备之间用于进行同等级的分析识别任务分配和数据交换。进一步地，所述前端设备为视频采集装置，所述边缘设备为边缘服务器，所述云端设备为云端服务器。本申请的有益效果为：本申请提供了一种全新视频数据处理架构，能够将计算任务合理分布在前端设备、边缘设备以及云端设备上，以达到高能效处理的目的，可见本申请技术方案能够实现计算协同。本申请技术方案还能够基于具有通用性的特征满足各端、边、云设备上不同分析识别任务的要求，可见本申请技术方案能够实现特征协同。本申请能在云端设备上训练用于不同场景的基网模型和小样本学习适配模型等，并进行轻量化处理以部署到端、边、云侧，可见本申请技术方案能够实现模型协同。本申请所提供的协同系统架构能够对大数据进行快速处理，特别适用于处理大规模的视频数据，使整个视频数据处理系统性能最优。本申请技术方案突破了常规的视频数据处理架构，能够有效且充分地利用计算资源挖掘视频大数据的价值，能够从根源上彻底解决视频大数据利用率低的难题。本申请所提供的一个或多个技术方案能够广泛应用在智慧城市、智能交通等多种场景中，具有非常大的市场价值，适于大面积推广和应用。附图说明图1示出了本申请一些实施例中基于数字视网膜的端、边、云协同系统架构示意图。图2示出了本申请一个或多个实施例中利用本申请协同系统架构与深度神经网络模型的结合完成分类识别任务的示意图。图3示出了本申请另一些实施例中基于数字视网膜的端、边、云协同系统架构示意图。图4示出了本申请一个或多个实施例端、边、云设备间进行协同计算任务分配的示意图。图5示出了本申请一个或多个实施例中利用云端训练神经网络模型以及部署到端、边设备应用侧的示意图。具体实施方式下面结合说明书附图对本申请提供的一种基于数字视网膜的端、边、云协同系统及方法、设备进行详细的解释和说明。如图本文档来自技高网...

【技术保护点】
1.一种基于数字视网膜的端、边、云协同系统，其特征在于，包括前端设备、边缘设备及云端设备；/n所述前端设备，用于从采集的视频数据中提取出具有通用性的特征，并用于基于所述特征生成分析识别任务；所述前端设备还用于对所述分析识别任务进行处理，以得到用于发送至所述边缘设备的第一中间结果；/n所述边缘设备，用于基于所述第一中间结果对所述分析识别任务进行处理，以得到用于发送至所述云端设备的第二中间结果；/n所述云端设备，用于基于所述第二中间结果对所述分析识别任务进行处理，以生成视频数据的分析识别结果。/n

【技术特征摘要】
1.一种基于数字视网膜的端、边、云协同系统，其特征在于，包括前端设备、边缘设备及云端设备；
所述前端设备，用于从采集的视频数据中提取出具有通用性的特征，并用于基于所述特征生成分析识别任务；所述前端设备还用于对所述分析识别任务进行处理，以得到用于发送至所述边缘设备的第一中间结果；
所述边缘设备，用于基于所述第一中间结果对所述分析识别任务进行处理，以得到用于发送至所述云端设备的第二中间结果；
所述云端设备，用于基于所述第二中间结果对所述分析识别任务进行处理，以生成视频数据的分析识别结果。


2.根据权利要求1所述的基于数字视网膜的端、边、云协同系统，其特征在于，
所述前端设备，用于利用由所述云端设备训练完成的神经网络模型中第一数量目标层对所述分析识别任务进行处理。


3.根据权利要求2所述的基于数字视网膜的端、边、云协同系统，其特征在于，
所述边缘设备，用于利用由所述云端设备训练完成的神经网络模型中第二数量目标层对所述分析识别任务进行处理。


4.根据权利要求3所述的基于数字视网膜的端、边、云协同系统，其特征在于，
所述云端设备，用于利用由所述云端设备训练完成的神经网络模型中第三数量目标层对所述分析识别任务进行处理；其中，所述神经网络模型包括依次连接的所述第一数量目标层、所述第二数量目标层以及所述第三数量目标层。


5.根据权利要求1所述的基于数字视网膜的端、边、云协同系统，其特征在于，
多个所述前端设备之间用于进行同等级的分析识别任务分配和数据交换；
多个所述边缘设备之间用于进行同等级的分析识别任务分配和数据交换；
多个所述云端设备之间用于进行同等级的分析识别任务分配和数据交换。


6.根据权利要求1所述的基于数字视网膜的端、边、云协同系统，其特征在于，
所述前端设备为视频采集装置；
所述边缘设备为边缘服务器；
所述云端设备为云端服务器。


7.一种基于数字视网膜的端、边、云协同方法，其特征在于，包括：
从采集的视频数据中提取出具有通用性的特征；
基于所述具有通用性的特征生成分析识别任务；...

【专利技术属性】
技术研发人员：田永鸿，邢培银，高峰，刘晓非，彭佩玺，高文，
申请(专利权)人：北京大学，
类型：发明
国别省市：北京;11