【技术实现步骤摘要】
内存数据优化方法、装置、计算机设备及存储介质
本专利技术涉及聚类算法领域，尤其涉及一种内存数据优化方法、装置、计算机设备及存储介质。
技术介绍
轮廓系数(SilhouetteCoefficient)是一种聚类结果评价方法，用于评估无监督聚类算法的效果以及确定聚类过程中簇(即分组)的个数。轮廓系数结合聚类的凝聚度(Cohesion)和分离度(Separation)对聚类效果进行评价。然而，轮廓系数在大规模数据计算时经常出现未知错误，导致无法获得计算结果。现有的解决手段一般是减少数据集的样本数量，计算原数据集的子集的轮廓系数。这种计算方式无法评价聚类结果的整体效果，计算结果也容易出现较大偏差。此外，在计算高维的大规模数据集的轮廓系数时，即使可以获得计算结果，其计算耗时过长，影响了轮廓系数的应用。
技术实现思路
基于此，有必要针对上述技术问题，提供一种内存数据优化方法、装置、计算机设备及存储介质，以减少在大规模数据计算时的出错，确保获得需要的计算结果，同时减少计算时长。专利技术人经多次试验，发现...
【技术保护点】
1.一种内存数据优化方法，其特征在于，包括：/n获取待处理的数据集，所述数据集用于聚类分析；/n判断所述数据集的数据处理量是否大于预设阈值；/n若所述数据集的数据处理量大于预设阈值，则获取第一预设内存优化机制和\或第二预设内存优化机制；/n根据所述第一预设内存优化机制修改所述数据集中的所有样本的数据类型，和\或，根据所述第二预设内存优化机制修改预设数据计算方法的内存回收机制和\或预设参数，所述预设数据计算方法包括若干个循环计算步骤；/n根据所述预设数据计算方法对已修改数据类型的所述数据集进行处理，获得计算结果；或，根据已修改内存回收机制和\或预设参数的所述预设数据计算方法对...
【技术特征摘要】
1.一种内存数据优化方法，其特征在于，包括：
获取待处理的数据集，所述数据集用于聚类分析；
判断所述数据集的数据处理量是否大于预设阈值；
若所述数据集的数据处理量大于预设阈值，则获取第一预设内存优化机制和\或第二预设内存优化机制；
根据所述第一预设内存优化机制修改所述数据集中的所有样本的数据类型，和\或，根据所述第二预设内存优化机制修改预设数据计算方法的内存回收机制和\或预设参数，所述预设数据计算方法包括若干个循环计算步骤；
根据所述预设数据计算方法对已修改数据类型的所述数据集进行处理，获得计算结果；或，根据已修改内存回收机制和\或预设参数的所述预设数据计算方法对所述数据集进行处理，获得所述计算结果；或，根据已修改内存回收机制和\或预设参数的所述预设数据计算方法对已修改数据类型的所述数据集进行处理，获得所述计算结果。
2.如权利要求1所述的内存数据优化方法，其特征在于，所述根据所述第一预设内存优化机制修改所述数据集中的所有样本的数据类型，包括：
根据所述数据处理量确定若干个待选数据类型；
接收数据类型修改指令，以从所述若干个待选数据类型中选出一个指定数据类型；
根据所述数据类型修改指令将所述数据集中的样本的预设数据类型修改为所述指定数据类型，所述指定数据类型的数据长度低于所述预设数据类型。
3.如权利要求1所述的内存数据优化方法，其特征在于，所述根据所述第二预设内存优化机制修改预设数据计算方法的内存回收机制和\或预设参数，包括：
加载与所述预设数据计算方法适配的内存检测进程；
在执行所述预设数据计算方法中的所述循环计算步骤时，通过所述内存检测进程检测所述循环计算步骤产生的内存泄露；
通过内存回收进程回收所述内存泄露占用的内存空间。
4.如权利要求1所述的内存数据优化方法，其特征在于，所述数据集的数据处理量判断所述数据集的数据处理量是否大于预设阈值之前，还包括:
根据所述数据集的数据处理量和所述预设数据计算方法确定预估占用内存资源值；
获取当前的可用内存资源值，根据所述预估占用内存资源值和所述可用内存资源值确定所述预设阈值。
5.如权利要求1所述的内存数据优化方法，其特征在于，所述根据所述第二预设内存优化机制修改预设数据计算方法的内存回收机制和\或预设参数，包括：
根据所述数据处理量确定若干个所述预设参数的待选设置值，所述预设参数用...
【专利技术属性】
技术研发人员：蔡金成，
申请(专利权)人：中国平安人寿保险股份有限公司，
类型：发明
国别省市：广东;44
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。