实时应用场景下的神经网络切片部署方法、系统技术方案

本发明专利技术公开了一种实时应用场景下的神经网络切片部署方法、系统,对视频流当前帧的各切片进行切片帧补全，得到每个切片的补全帧，在各切片的补全帧上进行神经网络推理，推理完成后抽取当前切片的分析结果。本发明专利技术主要是应用于基于神经网络的场景分析，比如显著区域检测，图像分割等任务，并使用自信息，帧间信息，帧内信息对切片进行补全，补全后应用神经网络进行图像分析，然后抽取分析后的结果，以支持后续的实时后处理和编码流程，解决了实时神经网络部署中帧信息不完整的问题。网络部署中帧信息不完整的问题。网络部署中帧信息不完整的问题。

【技术实现步骤摘要】
实时应用场景下的神经网络切片部署方法、系统


[0001]本专利技术属于神经网络应用
，具体涉及一种实时应用场景下的神经网络切片部署方法、系统。

技术介绍

[0002]近年来，神经网络以其强大的性能而广泛应用于场景分析和视频处理。但是，在低延迟的实时应用场景中，基于神经网络的方案往往受限于吞吐量的限制。换言之，由于吞吐量的制约，神经网络无法获得完整的帧信息进行进一步的分析和处理，只能基于部分帧信息（切片）进行操作。
[0003]但是因为神经网络在特征工程（通过原始数据提取特征）中会使用到局部和全局信息，基于切片的分析操作可能会导致结果的误差大。

技术实现思路

[0004]本专利技术针对实时场景中神经网络由于吞吐量的限制只能使用切片信息进行分析导致误差大的问题，提供一种实时应用场景下的神经网络切片部署方法、系统。对于低延迟的实时应用场景，对切片使用自信息、帧内信息和帧间信息进行帧补全，补全后用神经网络进行图像分析，抽取分析结果来支持后续的后处理或编码流程。
[0005]为解决上述技术问题，本专利技术所采用的技术方案为：
[0006]一种实时应用场景下的神经网络切片部署方法，对视频流当前帧的各切片进行切片帧补全，得到每个切片的补全帧，在各切片的补全帧上进行神经网络推理，推理完成后抽取当前切片的分析结果。
[0007]作为本专利技术的优选方案，所述的切片帧补全方法为：
[0008]获取视频流的D个帧，每个帧具有N*M个切片，且完整帧以N*M切片形式展现；
[0009]令第d帧为当前帧，第k个切片为当前切片，d∈[1,D]，k∈[1,N*M]；
[0010]若第d帧为第一帧，则对第d帧各切片的帧补全为：
[0011]对于第k个切片，缺失的前k
‑
1个切片信息以自信息补全，缺失的后N*M
‑
k个切片信息以帧内信息补全；
[0012]若第d帧不是第一帧，则对第d帧各切片的帧补全为：
[0013]对于第k个切片，缺失的前k
‑
1个切片信息以自信息补全，缺失的后N*M
‑
k个切片信息则根据当前切片与前一帧对应切片在直方图分布的相似度选择帧内信息补全还是帧间信息补全；
[0014]当相似度大于设定阈值则使用帧间信息补全，当相似度小于设定阈值则使用帧内信息补全。
[0015]作为本专利技术的一种优选方案，所述的自信息是当前帧已有的切片信息；
[0016]所述的帧内信息是在视频流的先验知识下，基于当前帧已有切片信息的估计；当前帧的第k个切片为当前切片，缺失的后N*M
‑
k个切片信息使用前k个切片信息作为需补全
切片的信息进行补全，假定要分析第d帧的第二个切片，在分析第二个切片的时候，第一个切片已经得到了，所以，我们会把第一个切片用做第二个切片的自信息补全。
[0017]所述的帧间信息是在视频流的先验知识下，基于相同场景临近帧的估计；意思是使用相同场景的前帧信息进行补全，譬如要分析第d帧的第二个切片，需要补全第d帧的第三个切片，如果第d帧的第二个切片和第d
‑
1帧的第二个切片直方图分布类似，我们就认为第d帧和第d
‑
1帧场景相同。然后，我们会用第d
‑
1帧的第三个切片来补全第d帧的第三个切片。
[0018]本专利技术还提供了一种实时应用场景下的神经网络切片部署系统，包括预处理模块，用于从视频流中获得D个帧的各切片；
[0019]自信息模块，获得第d帧已有的切片信息；
[0020]帧内信息模块，获得第d帧已有的切片信息并在先验知识的基础上对第d帧已有的切片信息进行估计；
[0021]帧间信息模块，基于相同场景对第d帧的前一帧的切片信息进行估计；
[0022]首帧判断模块，判断第d帧是否为第一帧；
[0023]相似度比较模块，对临近两帧同一切片的直方图分布的相似度进行比较；
[0024]补全模块，若首帧判断模块判断第d帧为第一帧时，则对第d帧的第k个切片缺少的前k
‑
1个切片信息以自信息模块的结果进行补全；缺失的后N*M
‑
k个切片信息以帧内信息模块的结果补全；
[0025]若首帧判断模块判断第d帧不是第一帧时，则对于第k个切片，缺失的前k
‑
1个切片信息以自信息模块的结果补全，缺失的后N*M
‑
k个切片信息则根据相似度比较模块的比较结果选择；
[0026]当相似度大于设定阈值则使用帧间信息模块的结果补全，当相似度小于设定阈值则使用帧内信息模块的结果补全；
[0027]神经网络模块，对补全模块补全获得的各切片的补全帧进行神经网络推理并获得各切片的分析结果。
[0028]本专利技术还提供了一种计算机系统，包括存储器、处理器和存储在存储器上并可运行的计算机程序，所述计算机程序被加载至处理器时实现上述神经网络切片部署方法。
[0029]本专利技术主要是应用于基于神经网络的场景分析，比如显著区域检测，图像分割等任务，并使用自信息，帧间信息，帧内信息对切片进行补全，补全后应用神经网络进行图像分析，然后抽取分析后的结果，以支持后续的实时后处理和编码流程，解决了实时神经网络部署中帧信息不完整的问题。
附图说明
[0030]图1为以ROI为例展示的本专利技术的原理图。
[0031]图2为本专利技术以2*2切片下展示的帧补全原理图。
[0032]图3为以ROI为例基于完整帧信息、的ROI结果图。
[0033]图4为基于切片信息和的ROI结果图。
[0034]图5为本专利技术的对比ROI结果图。
具体实施方式
[0035]一种实时应用场景下的神经网络切片部署方法，可以解决在实时应用场景中吞吐量受限制的问题，通过对视频流当前帧的各切片进行切片帧补全，得到每个切片的补全帧，在各切片的补全帧上进行神经网络推理，推理完成后抽取当前切片的分析结果。
[0036]以感兴趣区域(ROI)为例，如图1所示，利用视频流的先验知识将切片补全为完整帧，然后在补全帧上进行神经网络推理，推理完成后抽取当前切片的相关分析结果。并且在帧补全的过程中用到了三种信息：自信息，帧间信息，帧内信息。其中自信息是当前帧已有的切片信息；帧间信息是基于相同场景临近帧的估计；帧内信息是基于当前帧已有信息的估计。
[0037]对于切片补全为完整帧使用的方法是：
[0038]获取视频流的D个帧，每个帧具有N*M个切片，且完整帧以N*M切片形式展现；本实施例以2*2切片为例；
[0039]如图2所示，每一帧都具有切片A、切片B、切片C和切片D；
[0040]对于第一帧，因为没有帧间信息，补全帧的信息来源于自信息和帧内信息。具体而言，对于切片A缺失的切片B、切片C和切片D都是使用帧内信息来补充，因为切片A只有切片A信息，所以切片A所缺失的切片B、本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种实时应用场景下的神经网络切片部署方法，其特征在于：对视频流当前帧的各切片进行切片帧补全，得到每个切片的补全帧，在各切片的补全帧上进行神经网络推理，推理完成后抽取当前切片的分析结果。2.根据权利要求1所述的实时应用场景下的神经网络切片部署方法，其特征在于，所述的切片帧补全方法为：获取视频流的D个帧，每个帧具有N*M个切片，且完整帧以N*M切片形式展现；令第d帧为当前帧，第k个切片为当前切片，d∈[1,D]，k∈[1,N*M]；若第d帧为第一帧，则对第d帧各切片的帧补全为：对于第k个切片，缺失的前k
‑
1个切片信息以自信息补全，缺失的后N*M
‑
k个切片信息以帧内信息补全；若第d帧不是第一帧，则对第d帧各切片的帧补全为：对于第k个切片，缺失的前k
‑
1个切片信息以自信息补全，缺失的后N*M
‑
k个切片信息则根据当前切片与前一帧对应切片在直方图分布的相似度选择帧内信息补全还是帧间信息补全；当相似度大于设定阈值则使用帧间信息补全，当相似度小于设定阈值则使用帧内信息补全。3.根据权利要求2所述的实时应用场景下的神经网络切片部署方法，其特征在于：所述的自信息是当前帧已有的切片信息；所述的帧内信息是在视频流的先验知识下，基于当前帧已有切片信息的估计；所述的帧间信息是在视频流的先验知识下，基于相同场景临近帧的估计。4.一...

【专利技术属性】
技术研发人员：高熙和，张磊，
申请(专利权)人：瀚博半导体上海有限公司，
类型：发明
国别省市：