一种数据缓存方法、装置、系统、计算机设备及存储介质制造方法及图纸

本申请属于数据存储技术领域，公开了一种数据缓存方法、装置、系统、计算机设备及存储介质，该方法包括：接收数据输入单元输入的数据流，并将数据流划分为多个预设大小的数据块；对多个预设大小的数据块依次进行存储；在每个数据块的存储过程中，判断第一内部存储单元的当前剩余空间是否足够存入该数据块；若是，将该数据块存入第一内部存储单元；若否，将该数据块存入第二内部存储单元；记录各数据块的存储去向信息；在满足数据发送条件时，根据各数据块的存储去向信息从第一内部存储单元或第三内部存储单元获取各数据块，并将各数据块依次发送给数据输出单元。本申请可以达到更好地利用内部存储，并避免外部存储对系统造成延时的效果。的效果。的效果。

【技术实现步骤摘要】
一种数据缓存方法、装置、系统、计算机设备及存储介质


[0001]本申请涉及数据存储
，尤其涉及一种数据缓存方法、装置、系统、计算机设备及存储介质。

技术介绍

[0002]在图像数据处理系统中，通常会需要将接收的数据流进行缓存，再在指定的时刻分发给需要的处理模块。由于图像数据流一般流量比较大，在缓存量比较大的系统里会同时用到片上存储单元和片外存储单元。
[0003]片上存储单元和片外存储单元各有优缺点：片上存储单元的优势在于读写速度快，但价格高，也不容易做成比较大的容量；片外存储单元的成本低、适合做大容量存储，但在数字系统里的延时比片上存储单元大，且使用片外存储单元会加大系统带宽的负担。然而，现有技术中，存在难以充分利用片上存储单元的存储空间，且片外存储单元会对系统造成延迟的问题。

技术实现思路

[0004]本申请提供了一种数据缓存方法、装置、系统、计算机设备及存储介质，能够达到充分利用内部存储，并避免外部存储对系统造成延时的效果。
[0005]第一方面，本申请实施例提供了一种数据缓存方法，该方法包括：
[0006]数据接收步骤，接收数据输入单元输入的数据流，并将数据流划分为多个预设大小的数据块；
[0007]数据存储步骤，对多个预设大小的数据块依次进行存储；在每个数据块的存储过程中，判断第一内部存储单元的当前剩余空间是否足够存入该数据块；若是，将该数据块存入第一内部存储单元；若否，将该数据块存入第二内部存储单元，第二内部存储单元被配置为当其存储的数据量达到第二阈值时将其存储的数据发送给外部存储单元；
[0008]存储去向记录步骤，记录各数据块的存储去向信息；
[0009]数据发送步骤，在满足数据发送条件时，根据各数据块的存储去向信息从第一内部存储单元或第三内部存储单元获取各数据块，并将各数据块依次发送给数据输出单元；第三内部存储单元被配置为当其剩余存储空间大于或等于第三阈值时从外部存储单元中获取数据。
[0010]在其中一个实施例中，将数据流划分为多个预设大小的数据块，包括：
[0011]获取预设的第一阈值，并根据第一阈值将数据流按时间顺序依次划分为多个相同大小的数据块，每个数据块的大小等于第一阈值。
[0012]在其中一个实施例中，判断第一内部存储单元的当前剩余空间是否足够存入该数据块，包括：
[0013]检测第一内部存储单元的当前剩余存储容量值；
[0014]根据第一内部存储单元的当前剩余存储容量值和第一阈值判断第一内部存储单
元的剩余空间是否足够存入该数据块。
[0015]优选地，第一阈值大于或等于第二阈值。
[0016]在其中一个实施例中，根据各数据块的存储去向信息从第一内部存储单元或第三内部存储单元获取各数据块，包括：
[0017]获取记录的各数据块的存储去向信息，每个数据块的存储去向信息为用于标示该数据块存储到第一内部存储单元的第一标识或用于标示该数据块存储到外部存储单元的第二标识；
[0018]在数据块的存储去向信息为第一标识时，从第一内部存储单元获取该数据块；
[0019]在数据块的存储去向信息为第二标识时，从第三内部存储单元获取该数据块。
[0020]在其中一个实施例中，外部存储单元包括用于接收第二内部存储单元输出数据的第一外部存储单元和用于向第三内部存储单元输出数据的第二外部存储单元；该方法还包括：
[0021]迭代存储步骤，确定下一级的第一内部存储单元、外部存储单元、第二内部存储单元及第三内部存储单元，并以第一外部存储单元作为下一级的数据输入单元，以第二外部存储单元作为下一级的数据输出单元，依次迭代执行迭代配置步骤、数据接收步骤、数据存储步骤、存储去向记录步骤及数据发送步骤，直至迭代次数达到预设迭代次数。
[0022]优选地，预设迭代次数为2次。
[0023]在其中一个实施例中，第一内部存储单元、第二内部存储单元及第三内部存储单元均为片上存储器，外部存储单元为片外存储器。
[0024]优选地，片上存储器为静态随机存取存储器；片外存储器为动态随机存取存储器。
[0025]在其中一个实施例中，数据流为图像数据流。
[0026]第二方面，本申请实施例提供了一种数据缓存装置，该装置包括：
[0027]数据接收模块，用于接收数据输入单元输入的数据流，并将数据流划分为多个预设大小的数据块；
[0028]数据存储模块，用于多个预设大小的数据块依次进行存储；在每个数据块的存储过程中，判断第一内部存储单元的剩余空间是否足够存入该数据块；若是，将该数据块存入第一内部存储单元；若否，将该数据块存入第二内部存储单元，第二内部存储单元被配置为当其存储的数据量达到第二阈值时将其存储的数据发送给外部存储单元；
[0029]存储去向记录模块，用于记录各数据块的存储去向信息；
[0030]数据发送模块，用于在满足数据发送条件时，根据各数据块的存储去向信息从第一内部存储单元或第三内部存储单元获取各数据块，并将各数据块依次发送给数据输出单元；第三内部存储单元被配置为当其剩余存储空间大于或等于第三阈值时从外部存储单元中获取数据。
[0031]第三方面，本申请实施例提供了一种数据缓存系统，该系统包括控制单元、数据接收单元、第一内部存储单元、第二内部存储单元、第三内部存储单元、外部存储单元、内部标记单元及数据发送单元；
[0032]数据接收单元，用于接收数据输入单元输入的数据流，并将数据流划分为多个预设大小的数据块，每个数据块的大小等于第一阈值；对多个预设大小的数据块依次进行存储；在每个数据块的存储过程中，获取第一内部存储单元的当前剩余存储容量值，判断第一
内部存储单元的当前剩余空间是否足够存入该数据块；若是，将该数据块存入第一内部存储单元；若否，将该数据块存入第二内部存储单元；将各数据块的存储去向信息存入内部标记单元；
[0033]第一内部存储单元，用于接收和存储数据接收单元发送的数据，并将第一内部存储单元的当前剩余存储容量值发送给数据接收单元；
[0034]第二内部存储单元，用于缓存需要发送到外部存储单元的数据，第二内部存储单元被配置为当其存储的数据量达到第二阈值时将其存储的数据发送给外部存储单元；
[0035]第三内部存储单元，用于缓存需要从外部存储单元读取的数据，第三内部存储单元被配置为当其剩余存储空间大于或等于第三阈值时从外部存储单元中获取数据；
[0036]内部标记单元，用于缓存各数据块的存储去向信息；
[0037]数据发送单元，用于在满足数据发送条件时，从内部标记单元中获取各数据块的存储去向信息，根据各数据块的存储去向信息从第一内部存储单元或第三内部存储单元获取各数据块，并将各数据块依次发送给数据输出单元；
[0038]外部存储单元，用于缓存需要存储在该外部存储单元的数据；
[0039]控制单元，用于配置第一阈值、第二阈值、第三阈值及数本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据缓存方法，其特征在于，所述方法包括：数据接收步骤，接收数据输入单元输入的数据流，并将所述数据流划分为多个预设大小的数据块；数据存储步骤，对所述多个预设大小的数据块依次进行存储；在每个数据块的存储过程中，判断第一内部存储单元的当前剩余空间是否足够存入该数据块；若是，将该数据块存入所述第一内部存储单元；若否，将该数据块存入第二内部存储单元，所述第二内部存储单元被配置为当其存储的数据量达到第二阈值时将其存储的数据发送给外部存储单元；存储去向记录步骤，记录各所述数据块的存储去向信息；数据发送步骤，在满足数据发送条件时，根据各所述数据块的存储去向信息从所述第一内部存储单元或第三内部存储单元获取各所述数据块，并将各所述数据块依次发送给数据输出单元；所述第三内部存储单元被配置为当其剩余存储空间大于或等于第三阈值时从所述外部存储单元中获取数据。2.根据权利要求1所述的方法，其特征在于，所述将所述数据流划分为多个预设大小的数据块，包括：获取预设的第一阈值，并根据所述第一阈值将所述数据流按时间顺序依次划分为多个相同大小的数据块，每个数据块的大小等于所述第一阈值。3.根据权利要求2所述的方法，其特征在于，所述判断第一内部存储单元的当前剩余空间是否足够存入该数据块，包括：检测所述第一内部存储单元的当前剩余存储容量值；根据所述第一内部存储单元的当前剩余存储容量值和所述第一阈值判断所述第一内部存储单元的剩余空间是否足够存入该数据块。4.根据权利要求2或3所述的方法，其特征在于，所述第一阈值大于或等于所述第二阈值。5.根据权利要求1至3任一项所述的方法，其特征在于，所述根据各所述数据块的存储去向信息从所述第一内部存储单元或第三内部存储单元获取各所述数据块，包括：获取记录的各所述数据块的存储去向信息，每个数据块的存储去向信息为用于标示该数据块存储到所述第一内部存储单元的第一标识或用于标示该数据块存储到所述外部存储单元的第二标识；在所述数据块的存储去向信息为第一标识时，从所述第一内部存储单元获取该数据块；在所述数据块的存储去向信息为第二标识时，从所述第三内部存储单元获取该数据块。6.根据权利要求1所述的方法，其特征在于，所述外部存储单元包括用于接收所述第二内部存储单元输出数据的第一外部存储单元和用于向所述第三内部存储单元输出数据的第二外部存储单元；所述方法还包括：迭代存储步骤，确定下一级的第一内部存储单元、外部存储单元、第二内部存储单元及第三内部存储单元，并以所述第一外部存储单元作为下一级的数据输入单元，以所述第二外部存储单元作为下一级的数据输出单元；依次迭代执行所述迭代配置步骤、所述数据接收步骤、所述数据存储步骤、所述存储去向记录步骤及所述数据发送步骤，直至迭代次数达
到预设迭代次数。7.根据权利要求6所述的方法，其特征在于，所述预设迭代次数为2次。8.根据权利要求1所述的方法，其特征在于，所述第一内部存储单元、所述第二内部存储单元及所述第三内部存储单元均为片上存储器，所述外部存储单元为片外存储器。9.根据权利要求8所述的方法，其特征在于，所述片上存储器为静态随机存取存储器；所述片外存储器为动态随机存取存储器。10.根据权利要求1所述的方法，其特征在于，所述数据流为图像数据流。11.一种数据缓存装置，其特征在于，所述装置包括：数据接收模块，用于接收数据输入单元输入的数据流，并将所述数据流划分为多个预设大小的数据块；数据存储模块，用于所述多个预设大小的数据块依次进行存储；在每个数据块的存储过程中，判断第一内部存储单元的剩余空间是否足够存入该数据块；若是，将该数据块存入所述第一内部存储单元；若否，将该数据块存入第二内部存储单元，所述第二内部存储单元被配置为当其存储的数据量达到第二阈值时将其存储的数据发送给外部存储单元；存储去向记录模块，用于记录各所述数据块的存储去向信息；数据发送模块，用于在满足数据发送条件时，根据各所述数据块的存储去向信息从所述第一内部存储单元或第三内部存储单元获取各所述数据块，并将各所述数据块依次发送给数据输出单元；所述第三内部存储单元被配置为当其剩余存储空间大于或等于第三阈值从所述外部存储单元中获取数据。12.根据权利要求11所述的装置，其特征在于，所述数据接收模块具体用于：获取预设的第一阈值，并根据所述第一阈值将所述数据流按时间顺序依次划分为多个相同大小的数据块，每个数据块的大小等于所述第一阈值。13.根据权利要求12所述的装置，其特征在于，所述数据存储模块具体用于：检测所述第一内部存储单元的当前剩余存储容量值；根据所述第一内部存储单元的当前剩余存储容量值和所述第一阈值判断所述第一内部存储单元的剩余空间是否足够存入该数据块。14.根据权利要求12或13所述的装置，其特征在于，所述第一阈值大于或等于所述第二阈值。15.根据权利要求11至13任一项所述的装置，其特征在于，所述数据发送模块具体用于：获取记...

【专利技术属性】
技术研发人员：范鑫，胡胜发，
申请(专利权)人：广州安凯微电子股份有限公司，
类型：发明
国别省市：