用于计算环境中的视频分析的推理引擎加速制造技术

描述了一种用于促进计算环境中的深度学习推理加速的机制。如本文所述的实施例的装置包括一个或多个处理器，用于将与神经网络的多个层的一层相关联的当前输入值与同该层相关联的高速缓存的输入值进行比较。如果当前输入值和高速缓存的输入值相等，则一个或多个处理器进一步导入针对该层的高速缓存的输入值以在神经网络内进一步处理。

Inference engine acceleration for video analysis in computing environment

【技术实现步骤摘要】
用于计算环境中的视频分析的推理引擎加速
本文描述的实施例一般涉及计算机。更具体地，描述了用于促进用于计算环境中的视频分析的推理引擎加速的实施例。
技术介绍
网络压缩技术通常需要对网络进行精细的重训练以实现更高的准确性。类似地，推理任务的自适应调度仅部分地解决了作为预处理的问题，其中核心网络仍以逐帧方式执行。此外，sigma-delta量化网络需要通过添加牧群(herding)层、时间集成层等将网络转换为sigma-delta量化网络。将导出的公式应用于复杂网络(例如，循环网络或者具有跨越多个层的深度卷积层的网络)被认为是困难的，因为时间差和时间积分没有很好地配对。附图说明在附图中，通过示例而非限制的方式示出了实施例，在附图中，类似的的附图标记表示相似的元件。图1是根据实施例的处理系统的框图。图2是具有一个或多个处理器核、集成存储器控制器和集成图形处理器的处理器的实施例的框图。图3是图形处理器的框图，该图形处理器可以是独立的图形处理单元，或者可以是与多个处理核集成的图形处理器。<br>图4是根据一些本文档来自技高网...

【技术保护点】
1.一种用于促进计算环境中的深度学习推理加速的装置，所述装置包括：/n一个或多个处理器，其用于：/n将与神经网络的多个层的一层相关联的当前输入值与同所述层相关联的高速缓存的输入值进行比较；以及/n如果所述当前输入值与所述高速缓存的输入值相等，则导入针对所述层的高速缓存的输入值以在所述神经网络内进一步处理。/n

【技术特征摘要】
20180828 US 16/114,8181.一种用于促进计算环境中的深度学习推理加速的装置，所述装置包括：
一个或多个处理器，其用于：
将与神经网络的多个层的一层相关联的当前输入值与同所述层相关联的高速缓存的输入值进行比较；以及
如果所述当前输入值与所述高速缓存的输入值相等，则导入针对所述层的高速缓存的输入值以在所述神经网络内进一步处理。


2.如权利要求1所述的装置，其中，所述一个或多个处理器还用于：如果所述当前输入值与所述高速缓存的输入值不同，则基于所述当前输入值来执行针对所述神经网络的所述层的计算。


3.如权利要求1所述的装置，其中，所述高速缓存的输入值包括与所述层相关联的历史值，其中，所述历史值保持在与所述层相关联的高速缓存中。


4.如权利要求1所述的装置，其中，所述一个或多个处理器还用于：
如果所述当前输入值与所述高速缓存的输入值相等，则将第一掩码值指派给所述比较的结果，其中，所述第一掩码值包括零值，其用于指示不需要计算；以及
如果所述当前输入值与所述高速缓存的输入值不相等，则将第二掩码值指派给所述比较的结果，其中，所述第二掩码值包括非零值，其用于指示需要计算。


5.如权利要求1所述的装置，其中，所述一个或多个处理器还用于利用所述比较的结果来更新所述高速缓存，其中，所述结果包括用于与所述神经网络的所述层相关联的后续处理的新高速缓存的输入值。


6.如权利要求5所述的装置，其中，所述一个或多个处理器还用于：将一个或多个高速缓存指派给所述神经网络的所述多个层中的一个或多个层，以加快针对所述神经网络的推理加速。


7.如权利要求1所述的装置，其中，所述一个或多个处理器包括托管推理加速电路的图形处理器，其中，所述一个或多个处理器还包括与所述图形处理器共同位于公共半导体封装上的应用处理器。


8.一种用于促进计算环境中的深度学习推理加速的方法，所述方法包括：
将与神经网络的多个层的一层相关联的当前输入值与同所述层相关联的高速缓存的输入值进行比较；以及
如果所述当前...

【专利技术属性】
技术研发人员：陈凡，
申请(专利权)人：英特尔公司，
类型：发明
国别省市：美国;US