【技术实现步骤摘要】
本申请属于人工智能，尤其涉及一种面向大模型的数据存储优化方法。
技术介绍
1、大模型存在大量的矢量数据需要存储，同时在进行模型推理时根据提示词计算并输出矢量的过程有大量的数据访问。为减少训练及推理的时间，需要提高数据的读取速度，但读取速度的提升也意味着需要采用性能更高、延迟更低的存储资源，导致存储成本的上升。
2、为降低存储成本，目前一般采用对模型进行压缩的方法，即通过剪枝技术、量化技术、知识蒸馏技术或稀疏激活技术等来减少模型的大小，从而降低存储需求，但该方法由于使用了压缩技术，可能会导致数据精度的下降，影响模型的性能和准确性。
3、因此，需要提供一种大模型数据的存储方法，能在不影响模型准确性的同时，降低存储成本。
技术实现思路
1、本申请实施例提供了一种面向大模型的数据存储优化方法，可以解决大模型数据存储成本高的问题。
2、本申请实施例提供了一种面向大模型的数据存储优化方法，包括：
3、在目标模型推理过程中，对目标模型中的参与计算数据进行引用计数，得到引用计数值，其中，参与计算数据为参与目标模型中前馈神经网络计算的数据；
4、在第一预设时长后，根据参与计算数据的引用计数值，对目标模型的所有模型数据进行分类，得到分类数据，分类数据包括第一类数据和第二类数据；
5、将第一类数据存储至第一类存储资源中，第二类数据存储至第二类存储资源中；
6、其中，第一类数据的引用计数值大于第一预设值，第二类数据的引用计
7、上述方法通过根据模型数据中参与计算的数据进行引用计数，对模型中参与计算的数据进行记录，并根据第一预设时长内参与计算数据的引用计数值，确定数据的引用频次，对模型中的数据进行分类。模型数据的引用频次越高，其重要程度也越高。根据模型数据的引用频次对数据进行分类，将需要经常引用的模型数据存储至性能较高、延迟较低的存储资源中，使得目标模型的数据被访问时，可以保证经常读取的数据实现高速地访问，满足了模型数据的访问需求；将不需要经常引用的模型数据存储至性能相对较低、延迟相对较高的存储资源中，在满足对于模型数据访问需求的同时，降低了数据存储的成本。
8、同时，参与计算数据记录了目标模型的推理过程，和目标模型的应用相关联，上述方法通过对参与计算数据进行引用计数，反应了大模型数据的使用频次，便于根据大模型实际应用情况优化存储资源。
9、在一种可能的实现方式中，对目标模型中的参与计算数据进行引用计数，得到引用计数值的步骤包括：
10、通过向量数据库对参与计算数据进行记录，得到记录信息；
11、对记录信息进行向量相似度检索，得到同一参与计算数据的引用次数；
12、根据参与计算数据的引用次数，得到引用计数值。
13、上述方法通过利用向量数据库对参与前馈神经网络计算的数据进行记录，增加提示产生结果的记录过程，根据记录优化存储资源。一方面满足向量数据的记录需求，另一方面可以通过向量数据库对记录在其中的数据进行向量相似度检索，便于确定向量实际被引用的次数。
14、在一种可能的实现方式中，第二类数据的引用计数值大于第二预设值，第二预设值小于第一预设值，分类数据还包括第三类数据，第三类数据的引用计数值小于等于第二预设值，该方法还包括：
15、将第三类数据存储至第三类存储资源中，第三类存储资源对应的读写性能低于第二类存储资源对应的读写性能，第三类存储资源对应的网络延迟高于第二类存储资源对应的网络延迟；
16、对第三类存储资源中存储时长大于第二预设时长的数据进行对象存储，第二预设时长大于第一预设时长。
17、上述方法进一步根据参与计算数据的引用计数值将目标模型数据分为四类，包括第一类数据、第二类数据、第三类数据以及未参与计算数据，并将其中第三类数据存储至第三类存储资源中，进一步降低存储成本。
18、在一种可能的实现方式中，对第三类存储资源中存储时长大于第三预设时长的数据进行丢弃。
19、上述方法在模型数据长时间处于引用频次低的情况下，对该数据进行丢弃，对模型进行优化，即对大模型中的非重要的数据进行处理，降低了模型的大小，同时避免对模型精度以及准确度造成影响。
20、在一种可能的实现方式中，对模型中在经过第一预设时长后未参与计算的数据进行对象存储。
21、上述方法通过将在第一预设时长后未参与计算的数据进行对象存储，利用对象存储不需要维护复杂的目录和文件结构，同时也不需要购买昂贵的存储设备的特性，进一步降低了数据存储的成本。
22、在一种可能的实现方式中，对模型中经过第三预设时长后未参与计算的数据进行丢弃，第三预设时长大于第二预设时长。
23、上述方法以时间为门限，对模型数据在经过长时间未被引用的情况下，对数据进行丢弃，对模型进行优化，对大模型中的冗余数据进行处理，合理分配存储资源，在保证模型精度的同时，降低数据的存储成本。
24、在一种可能的实现方式中，在第一预设时长后，根据参与计算数据的引用计数值，对目标模型的所有数据进行分类的步骤包括：
25、以第一预设时长为周期，对目标模型的所有数据进行周期性分类。
26、上述方法通过将模型数据的持续性的分类过程拆分为多个周期，使得本方法应用时可以根据一个周期内的模型数据引用情况，对模型数据进行分类存储，使得引用频率较高的数据可以选择被存储至性能较高、延迟较低的存储资源中，综合提高了数据的访问速度；同时，引用频率较低的数据存储至性能较低、延迟较高的存储资源中，降低了数据存储成本。同时，周期性地对数据进行分类，使得最终优化的模型更稳定，在数据存储成本降低的同时不影响服务质量。
27、在一种可能的实现方式中，将第一类数据存储至第一类存储资源中，第二类数据存储至第二类存储资源中的步骤包括：
28、确定指定数据在上周期被分类为a类数据，当前周期内被分类为b类数据，则将指定数据同步至b类数据所对应的存储资源中，并删除a类数据所对应的存储资源中的指定数据；
29、其中，a类数据为第一类数据、第二类数据中的一类数据，b类数据为第一类数据、第二类数据中的另一类数据。
30、上述方法通过确定数据在不同的周期存储位置的不同，将冗余数据进行删除，避免数据重复存储，进一步降低数据的存储成本。
本文档来自技高网...【技术保护点】
1.一种面向大模型的数据存储优化方法，其特征在于，包括：
2.如权利要求1所述的面向大模型的数据存储优化方法，其特征在于，所述在目标模型推理过程中，对所述目标模型中的参与计算数据进行引用计数，得到引用计数值的步骤包括：
3.如权利要求1所述的面向大模型的数据存储优化方法，其特征在于，所述第二类数据的引用计数值大于第二预设值，所述第二预设值小于第一预设值，所述分类数据还包括第三类数据，所述第三类数据的引用计数值小于等于所述第二预设值，所述方法还包括：
4.如权利要求3所述的面向大模型的数据存储优化方法，其特征在于，对模型中在经过所述第一预设时长后未参与计算的数据进行对象存储。
5.如权利要求4所述的面向大模型的数据存储优化方法，其特征在于，还包括：
6.如权利要求5所述的面向大模型的数据存储优化方法，其特征在于，还包括：
7.如权利要求1-6任一所述的面向大模型的数据存储优化方法，其特征在于，所述在第一预设时长后，根据所述参与计算数据的引用计数值，对所述目标模型的所有模型数据进行分类的步骤包括：
8
...【技术特征摘要】
1.一种面向大模型的数据存储优化方法，其特征在于，包括：
2.如权利要求1所述的面向大模型的数据存储优化方法，其特征在于，所述在目标模型推理过程中，对所述目标模型中的参与计算数据进行引用计数，得到引用计数值的步骤包括：
3.如权利要求1所述的面向大模型的数据存储优化方法，其特征在于，所述第二类数据的引用计数值大于第二预设值，所述第二预设值小于第一预设值，所述分类数据还包括第三类数据，所述第三类数据的引用计数值小于等于所述第二预设值，所述方法还包括：
4.如权利要求3所述的面向大模型的数据存储优化方法，其特征在于，对模型中在经过所述第一预...
【专利技术属性】
技术研发人员：江朝晖，袁博浒，袁穗聪，
申请(专利权)人：广东跃昉科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。