System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind()
【技术实现步骤摘要】
本专利技术属于大数据处理加速,涉及一种神经网络通用前处理加速方法、装置、设备和介质。
技术介绍
1、近年来,随着人工智能和大数据技术的进一步发展,人工智能涉及的领域也越来越多,既与用户的生活息息相关,也助力了各个行业和领域的发展。目前神经网络在实际应用中,大部分还是基于服务器或者高性能终端来完成网络的训练和推理,而在降低成本以及边缘计算的需求下,使用嵌入式开发将成为首选。从针对嵌入式神经网络开发的一些进展来看,通常神经网络部分用专用ai芯片来计算,但是数据在输入神经网络前要进行前处理和量化,前处理包括均值缩放、归一化、通道转换和图像尺寸变换等,量化则分为uint8、int8和int16等类型,经过前处理以及量化后将数据处理成标准的输入数据后再输入到ai芯片。
2、目前常用的前处理有:使用arm芯片来进行计算,但是其效率低下的同时散热不容易解决;使用fpga芯片来进行计算,适用于需要高并行性、低延迟和灵活性的应用场景,但是其成本高且资源有限;使用智能数字信号处理器(dsp)来进行计算,可满足现在高计算资源的需求且及时性等方面有优势。然而目前使用智能数字信号处理器来进行计算时,前处理的通用性和加速性能都有待提升。
技术实现思路
1、针对上述传统技术中存在的问题,本专利技术提出了一种神经网络通用前处理加速方法、一种神经网络通用前处理加速装置、一种计算机设备以及一种计算机可读存储介质,能够有效提升使用智能数字信号处理器来进行计算时前处理的通用性和加速性能。
2、为了
3、一方面,提供一种神经网络通用前处理加速方法,包括步骤:
4、获取待处理的输入图片;
5、获取并解析配置文件,生成对输入图片的通用的操作流;配置文件为根据输入图片的图片输入格式和处理输入图片的网络的数据输入格式进行配置生成,配置文件用于将不同神经网络对应的前处理划分的多个子操作按照设置的操作顺序组合为通用的操作流,多个子操作包括对图片进行尺寸变换、颜色通道顺序调整、维度变化、均值缩放、归一化以及量化;
6、根据智能数字信号处理器的核数对输入图片自动完成数据切片后,根据生成的通用的操作流通过一次io读写操作完成对输入图片的前处理计算并自动生成存储索引表;
7、将对输入图片进行前处理计算后的数据按照存储索引表存储到特定的内存区域。
8、另一方面,还提供一种神经网络通用前处理加速装置,包括:
9、图片获取模块,用于获取待处理的输入图片;
10、配置解析模块,用于获取并解析配置文件,生成对输入图片的通用的操作流;配置文件为根据输入图片的图片输入格式和处理输入图片的网络的数据输入格式进行配置生成,配置文件用于将不同神经网络对应的前处理划分的多个子操作按照设置的操作顺序组合为通用的操作流,多个子操作包括对图片进行尺寸变换、颜色通道顺序调整、维度变化、均值缩放、归一化以及量化;
11、处理计算模块,用于根据智能数字信号处理器的核数对输入图片自动完成数据切片后,根据生成的通用的操作流通过一次io读写操作完成对输入图片的前处理计算并自动生成存储索引表;
12、数据存储模块,用于将对输入图片进行前处理计算后的数据按照存储索引表存储到特定的内存区域。
13、又一方面,还提供一种计算机设备,包括存储器和处理器,存储器存储有计算机程序,处理器执行计算机程序时实现上述神经网络通用前处理加速方法的步骤。
14、再一方面,还提供一种计算机可读存储介质,其上存储有计算机程序,计算机程序被处理器执行时实现上述的神经网络通用前处理加速方法的步骤。
15、上述技术方案中的一个技术方案具有如下优点和有益效果:
16、上述神经网络通用前处理加速方法、装置、设备和介质,通过将不同神经网络对应的多样的前处理合理的划分为多个子操作后,对于不同的神经网络确定的图片输入格式和网络的数据输入格式,以配置文件的方式来完成多个子操作的组合并生成通用的操作流,根据生成的操作流对图片数据进行处理,从而实现前处理的多样性并且无多余的计算,在智能数字信号处理器端,通过对图像数据自动分片同时将上述所有操作流一次读写实现多核并行处理,并且自动生成存储索引表实现处理后数据的存储,极大减少了数据读写和处理的时间,有效提升了使用智能数字信号处理器来进行计算时前处理的通用性和加速性能。
本文档来自技高网...【技术保护点】
1.一种神经网络通用前处理加速方法,其特征在于,包括步骤:
2.根据权利要求1所述的神经网络通用前处理加速方法,其特征在于,所述通用的操作流中将归一化和均值缩放融合为一个子操作。
3.根据权利要求1所述的神经网络通用前处理加速方法,其特征在于,所述通用的操作流中将归一化、均值缩放和量化融合为一个子操作。
4.根据权利要求1至3任一项所述的神经网络通用前处理加速方法,其特征在于,根据智能数字信号处理器的核数对所述输入图片自动完成数据切片的过程,包括:
5.一种神经网络通用前处理加速装置,其特征在于,包括:
6.根据权利要求5所述的神经网络通用前处理加速装置,其特征在于,所述通用的操作流中将归一化和均值缩放融合为一个子操作。
7.根据权利要求5所述的神经网络通用前处理加速装置,其特征在于,所述通用的操作流中将归一化、均值缩放和量化融合为一个子操作。
8.根据权利要求5至7任一项所述的神经网络通用前处理加速装置,其特征在于,根据智能数字信号处理器的核数对所述输入图片自动完成数据切片的过程,包括:
...【技术特征摘要】
1.一种神经网络通用前处理加速方法,其特征在于,包括步骤:
2.根据权利要求1所述的神经网络通用前处理加速方法,其特征在于,所述通用的操作流中将归一化和均值缩放融合为一个子操作。
3.根据权利要求1所述的神经网络通用前处理加速方法,其特征在于,所述通用的操作流中将归一化、均值缩放和量化融合为一个子操作。
4.根据权利要求1至3任一项所述的神经网络通用前处理加速方法,其特征在于,根据智能数字信号处理器的核数对所述输入图片自动完成数据切片的过程,包括:
5.一种神经网络通用前处理加速装置,其特征在于,包括:
6.根据权利要求5所述的神经网络通用前处理加速装置,其特征在于,所述通用的操作流中将归一化和均值缩放融...
【专利技术属性】
技术研发人员:曾喜芳,欧高亮,隋强,夏一民,寻迎亚,张玉芬,
申请(专利权)人:湖南长城银河科技有限公司,
类型:发明
国别省市:
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。