【技术实现步骤摘要】
本专利技术涉及目标检测领域，特别是涉及一种针对目标检测的云边协同方法、装置及产品。
技术介绍
1、高清监控摄像头下的目标检测技术是计算机视觉和人工智能研究中的一项关键技术。它在许多领域都有重要的应用，包括视频监控、自动驾驶、人机交互等。现如今各个国家和地区都正在大规模部署用于视频分析的摄像头。例如，在城市商业设施、住宅、公共空间以及其他设施中，安装高清视频监控摄像头被用于防盗、防破坏、防抢劫、以及其他安全和保护措施。在街道、高速公路、公园和其他公共地方，高清视频摄像头被用于监控交通流量、车辆速度、违章行为等。在企业园区(如公司办公室、零售商店)安装摄像头用于改善商业运营和购物体验，在绝大多数视频分析应用中，目标检测因其能够识别和定位图像中所有特定类别的目标实例而起着关键作用。
2、近年来，随着深度学习的发展，尤其是卷积神经网络（convolutional neuralnetwork，cnn）的兴起，目标检测技术取得了显著的进步。相比于传统方法，深度学习可以自动学习到数据中的复杂和抽象特征，这使得其在复杂场景下依然可以保持良好的检测性能。其中，r-cnn，fast r-cnn，faster r-cnn，yolo，ssd等是深度学习在目标检测领域的一些代表性作品。在高分辨率摄像头目标检测问题背景下，存在着高清图片中的小目标检测的难题：由于像素分布极为密集，小目标在整个图片中只占据了很小的一部分，小目标的信息量远远小于背景的信息量，使得模型更加容易受到背景的影响，而忽视了小目标的存在；处理高清图片需要较大的计算资源，如内存
3、然而，目前市场上大多数高清摄像头或者边缘计算设备性能有限，无法直接应用深度学习模型，主要表现在以下方面：1）处理器性能：大多数边缘设备的处理器（cpu或gpu）性能相比于高级的服务器或者个人电脑而言通常较弱。这限制了这些设备运行复杂深度学习模型的能力，因为这些模型往往需要大量的计算资源来进行前向传播（预测）或反向传播（训练）。2）内存大小：深度学习模型，尤其是精度高的大型模型，需要大量的内存来存储模型的参数、中间计算结果等。而边缘设备的内存通常相比于服务器或个人电脑而言较小，无法在上面部署深度学习模型。3）电源限制：与在数据中心或桌面环境中的设备相比，边缘设备通常需要更加注意电源使用。大型深度学习模型在运行过程中可能会消耗大量的电能，这对于依赖电池供电的边缘设备来说可能是不实际的。4）存储空间：深度学习模型的权重文件往往需要大量的存储空间，而边缘设备往往无法提供这么大的存储空间。
4、因此，仅通过边缘设备的计算能力无法满足高清视频的目标检测任务要求。在实际应用中，为了充分利用云计算的强大计算能力和边缘计算的低延迟优势，人们开始研究云边协同的计算模式。在这种模式下，计算任务会根据需要在云端和边缘端之间动态分配，以达到效率和实时性的最优平衡。具体来说，边缘设备或者具有一定计算能力的摄像头负责视频的编码和传输，云上服务器负责对边缘传递过来的视频帧进行深度学习模型推理，这就是目前常见的高清摄像头目标检测云边协同计算方法。
5、在云边协同计算模式中视频帧通常需要在云端和边缘设备之间进行频繁的传输，其次，根据计算，假设采用一种常见的比特率，比如35mbps，那么传输1分钟的4k 30fps视频大约需要260mb，这对于边缘设备紧张的带宽资源来说是一笔不小的开销。其次，高清视频的目标检测技术中会存在延迟与准确度之间的权衡。在目标检测深度学习算法中，算法的执行速度和准确度与视频分辨率有关：输入视频帧的分辨率越大，相对的准确度会更高，然后推理的时间就会更长；如果将图像分辨率改变更小，那么推理的准确度会下降，但是推理的时间自然会更小。如何做到延迟与准确度之间的权衡，并且有效降低传输期间的带宽资源消耗，是一个非常具有挑战性的问题。
6、在云计算中，faas（function as a service）和iaas（infrastructure as aservice）是云计算的两种主要服务模型，各自有其特点和应用场景。iaas是云服务的最基础形式，提供了基础的计算资源，如服务器（虚拟机或裸机）、存储、网络等。在iaas模型中，用户可以租用云提供商的基础设施资源，并在其上安装操作系统、运行时环境、中间件、应用程序等。用户可以完全控制整个堆栈的大部分层次，但也需要负责管理和维护（例如操作系统的维护、网络配置、安全设置等）。faas是一种实现无服务器（serverless）架构的服务模型。在faas模型中，用户只需要关注自己的业务逻辑，把它编写成一个或多个函数，然后上传到云平台。云平台会负责运行这些函数，而且只在函数执行时才收费，不用的时候不产生费用。用户不需要管理任何底层的基础设施，甚至无需关心运行时环境。faas非常适合于需要快速扩展和高度弹性的场景，如微服务、实时文件处理和数据流处理等。
7、在高清摄像头目标检测云边协同计算模式中，工作负载与摄像头的数量，视频目标数量，分辨率大小有关，在真实情况下，工作负载往往是高度动态变化的，如果采用iaas的计算模式，容易产生过度资源分配或者资源分配不足的问题，从而使成本过高或者目标要求达不到。使用faas可以很好的解决动态工作负载的问题，同时它也支持快速扩展，非常适合高清摄像头目标检测云边协同计算场景。另外由于faas特殊的按量计费模式，即主要基于函数的执行时间和资源使用量来计费，相比租用服务器会有更小的开销。具体来说计费模式通常包括以下几个方面：1）执行时间：faas提供商通常按照函数的执行时间来收费，而且通常是按照100毫秒或者更短的时间间隔来计算。只要函数在运行，就会产生费用，而函数闲置时则不产生费用。2）资源分配：除了执行时间外，faas的费用还取决于为函数分配的资源量，比如cpu、内存、网络等。一般来说，分配的资源越多，费用也就越高。3）请求数：有些faas提供商也会根据函数的请求数来收费，即函数被调用的次数。
8、在高清摄像头目标检测云边协同计算模式中，在serverless架构上部署深度学习模型，可以使用批处理请求来进一步减少成本并且减少函数调用的次数，从而减少启动函数次数和管理函数生命周期的开销。每次函数调用都需要一些启动时间（cold start）和结束时间，如果能把多个请求合并到一次函数调用中，可以显著提高效率。faas通常按照函数调用的次数和执行时间来收费。通过批处理，可以减少函数调用的次数和总体执行时间，从而减少费用。除此之外，当在gpu或其他支持并行计算的硬件上进行推理时，批处理推理可以充分利用硬件资源，显著提高计算效率，降低单次图片推理的成本和时间。然而，过大的批处理大小会使得请求等待，有可能会违反服务等级目标（service level objective，slo），其次，过大的批次大小会占用更大的显存容量，如果超过目标检测深度学习模型无服务函数实例所拥有的显存资源，则该批次请求无法处理。
技术实现思路...
【技术保护点】
1.一种针对目标检测的云边协同方法，其特征在于，包括：
2.根据权利要求1所述的针对目标检测的云边协同方法，其特征在于，利用边缘设备采集原始图片，将所述原始图片等分为多个子图，具体包括：
3.根据权利要求2所述的针对目标检测的云边协同方法，其特征在于，基于所述子图，对所述原始图片进行切割，生成切图，具体包括：
4.根据权利要求1所述的针对目标检测的云边协同方法，其特征在于，将拼接有切图的画布输入至所述目标检测深度学习模型无服务函数进行批处理，之前还包括：
5.根据权利要求4所述的针对目标检测的云边协同方法，其特征在于，所述目标检测深度学习模型无服务函数的开始执行时间为：
6.根据权利要求4所述的针对目标检测的云边协同方法，其特征在于，将拼接有切图的画布输入至所述目标检测深度学习模型无服务函数进行批处理，之前还包括：
7.根据权利要求4所述的针对目标检测的云边协同方法，其特征在于，将拼接有切图的画布输入至所述目标检测深度学习模型无服务函数进行批处理，之前还包括：
8.一种针对目标检测的云边协同装置，
9.一种电子设备，其特征在于，包括存储器及处理器，所述存储器用于存储计算机程序，所述处理器运行所述计算机程序以使所述电子设备执行如权利要求1-7中任一项所述的针对目标检测的云边协同方法。
10.一种计算机可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序被处理器执行时实现如权利要求1-7中任一项所述的针对目标检测的云边协同方法。
...【技术特征摘要】
1.一种针对目标检测的云边协同方法，其特征在于，包括：
2.根据权利要求1所述的针对目标检测的云边协同方法，其特征在于，利用边缘设备采集原始图片，将所述原始图片等分为多个子图，具体包括：
3.根据权利要求2所述的针对目标检测的云边协同方法，其特征在于，基于所述子图，对所述原始图片进行切割，生成切图，具体包括：
4.根据权利要求1所述的针对目标检测的云边协同方法，其特征在于，将拼接有切图的画布输入至所述目标检测深度学习模型无服务函数进行批处理，之前还包括：
5.根据权利要求4所述的针对目标检测的云边协同方法，其特征在于，所述目标检测深度学习模型无服务函数的开始执行时间为：
6.根据权利要求4所述的针对目标检测的云边协同方法，...
【专利技术属性】
技术研发人员：詹玉峰，彭皓崧，常毅，夏元清，吴楚格，翟弟华，张元，
申请(专利权)人：北京理工大学，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。