System.ArgumentOutOfRangeException: 索引和长度必须引用该字符串内的位置。 参数名: length 在 System.String.Substring(Int32 startIndex, Int32 length) 在 zhuanliShow.Bind() 一种基于数据挖掘的企业数字化智能运营方法及系统技术方案_技高网

一种基于数据挖掘的企业数字化智能运营方法及系统技术方案

技术编号:40415712 阅读:5 留言:0更新日期:2024-02-20 22:32
本发明专利技术公开了一种基于数据挖掘的企业数字化智能运营方法及系统,具体包括以下步骤:S1:依据企业部门工作内容建立若干部门系统;S2:使用数据挖掘算法挖掘企业系统数据;S3:对业务数据进行预处理,去除重复并对数据进行排序;S4:对数据进行多线程并行处理;S5:创建哈希表处理业务数据;S6:采用近似计算方式来优化处理效率;S7:依据权限使用主传输线路和空闲传输线路传输数据;本发明专利技术涉及企业数据计算技术领域。采用数据挖掘技术深层次挖掘并分配管理,并对其进行去重排序等操作,实用并行计算、哈希表、降维近似计算等方式处理,配合双线路传输,多方面结合,大大提高了企业运营中的大数据计算管理效率,降低了人工操作的工作量和错误率。

【技术实现步骤摘要】

本专利技术涉及企业数据计算,具体为一种基于数据挖掘的企业数字化智能运营方法及系统


技术介绍

1、随着互联网发展,现有的一些企业在运营过程中,都会使用系统进行工作,可会更好的处理各种繁琐的数据,便于管理和追溯。

2、中国专利cn117196525a公开了一种基于大数据的企业信息化智能管理系统,包括管理中心,所述管理中心连接企业数据采集模块、企业数据整合模块以及企业数据共享模块;所述企业数据采集单元用于对企业信息数据进行采集,并将企业信息数据通过企业数据传输单元发送至企业数据整合模块,生成正常企业部门信息数据;所述企业数据整合模块设置有企业数据处理单元、企业数据分析单元以及企业数据集成单元;用于对正常企业部门信息数据进行整合,获取企业信息数据,对企业信息数据进行集成,获得可共享企业信息数据库;所述企业数据共享模块用于对可共享企业信息数据库进行验证以及共享;实现了数据共享。

3、如上所述,现有的企业内部门信息需要进行整合和数据共享,但是对于一些大企业在工作中,会需要处理各种类型的大数据,尤其是部门种类众多,处理的数据种类也比较杂乱,很多数据并不会共享,而是储存在每个终端中,数据之间的重复和数据资源的分配等,存在较多的问题,如何全面的挖掘管理企业繁杂的数据是个难点,较为麻烦,并且一些大数据在处理过程中,由于容量大、计算量大,在进行数据处理和传输时,处理的效率较慢,影响工作效率,大企业共用一个系统并进行共享,可能还存在线路拥挤导致卡顿甚至崩溃的问题。


技术实现思路

1、针对现有技术的不足,本专利技术提供了一种基于数据挖掘的企业数字化智能运营方法及系统,解决了现有大企业工作过程中,对于数据处理管理的缺陷,以及较多人员共用一个系统存在的问题。

2、为实现以上目的,本专利技术通过以下技术方案予以实现:一种基于数据挖掘的企业数字化智能运营方法,具体包括以下步骤:

3、s1:依据企业部门工作内容建立若干部门系统,同时搭载一主一空闲两套数据传输线路,分别标记为主传输线路和空闲传输线路,用于传输数据时标记线路进行分配;

4、s2:使用数据挖掘算法挖掘企业系统数据,并按照不同部门系统进行分类管理,具体包括:采用k均值聚类算法选择k个初始的聚类中心点,然后根据数据点与这些聚类中心点的距离来将数据点分配到k个不同的类别中,接着重新计算每个类别的中心点,直到达到收敛条件为止;

5、s3:在不同部门系统之间数据传输时,首先对业务数据进行预处理,去除重复并对数据进行排序,以减少后续的计算量;

6、s4:使用并行计算将需要转换的原始数据集分割成大小为n的子集,并且确定并行计算的线程数为m,对数据进行多线程并行处理;

7、s5:创建哈希表处理业务数据,具体包括:创建一个哈希表数据结构,然后选择一个哈希函数,将每个数据项的键值通过哈希函数转换成哈希值,并将数据项存储在哈希表中对应的位置;

8、s6:采用近似计算方式来优化处理效率,具体为:采用主成分分析算法对线性数据进行降维近似计算,并采用核主成分分析算法进行非线性扩展,处理非线性数据;

9、s7:在使用主传输线路和空闲传输线路传输数据时,依据账户权限、线路传输实际情况和正常数据传输通过主传输线路传输,对于享有高权限的系统账户传输线路使用空闲传输线路传输,在主传输线路堵塞时,账户权限越高和数据容量越小的优先分配到空闲传输线路传输。

10、优选的,所述s2的数据挖掘算法具体包括:

11、(1)选择k个初始的聚类中心点:{μ1,μ2,...,μk};

12、(2)根据数据点与聚类中心点的距离将数据点分配到不同的类别中:对于每个数据点x,计算它与每个聚类中心点的距离,然后将x分配到距离最近的聚类中心点所对应的类别中;

13、(3)重新计算每个类别的中心点:对于每个类别i,计算该类别中所有数据点的平均值作为新的聚类中心点μi;

14、(4)重复步骤2和步骤3,直到达到收敛条件为止。

15、优选的,所述收敛条件指当聚类中心点不再发生显著变化时,数据挖掘算法达到收敛,具体为,定义一个阈值l,当每个聚类中心点的移动距离小于该阈值l时,数据挖掘算法即认为已经收敛,表示聚类中心点已经稳定下来,不再发生显著的变化,结束迭代。

16、优选的,所述距离最近的聚类中心点的计算方法是,通过最小化目标函数最小化每个数据点与其所属类别的聚类中心点之间的距离的总和,具体为:

17、j(μ1,μ2,...,μk)=σi=1-n σk=1-k||x(i)-μk||^2;

18、其中,n表示数据集中的数据点数量,k表示聚类中心点的数量,x(i)表示第i个数据点,μk表示第k个聚类中心点,||a - b||表示向量a和向量b之间的欧氏距离,通过不断迭代更新聚类中心点的位置,最终得到k个不同类型的业务数据分组。

19、优选的,所述s3中的去除重复数据和排序操作具体包括:

20、(1)去除重复数据:

21、d={x|x∈y,c(x)=1};

22、其中y为原始数据集,c(x)表示x在数据集中出现的次数,d为去除重复数据后的数据集;

23、(2)排序操作:

24、s=p(y);

25、其中p(y)表示对原始数据集y进行排序操作,s表示排序后的数据集。

26、优选的,所述s5中在发生哈希冲突时,即两个不同的键值通过哈希函数得到相同的哈希值,使用开放寻址法或者链地址法来解决冲突;

27、当需要查找、插入或删除数据时,通过哈希函数计算出数据项的哈希值,然后在哈希表中对应的位置进行操作;

28、需要根据实际情况来调整哈希表的大小和哈希函数,以提高哈希表的性能和效率。

29、优选的,所述s6中,假设原始数据集为y,目标降维后的数据集为z,采用主成分分析进行降维近似算法计算时方式为:

30、假设原始数据集y的维度为m×n,其中m表示样本数,n表示特征数,目标降维后的数据集z的维度为m×k,其中k表示降维后的特征数;

31、首先,计算原始数据集y的均值向量μ,表示为:

32、μ=(y1,y2,...,yn);

33、其中yi表示第i个特征的均值;

34、然后,计算原始数据集y的协方差矩阵c,表示为:

35、c=1/m×(y-μ)t×(y-μ);

36、其中(y-μ)表示原始数据集y每个样本减去均值向量μ后的矩阵,t表示转置;

37、接下来,对协方差矩阵c进行特征值分解,并对分解后的特征值进行降序排序,得到特征值λ1,λ2,...,λn和对应的特征向量v1,v2,...,vn,选择前f个特征值和对应的特征向量,构成特征值矩阵λ和特征向量矩阵v,将原始数据集y投影到特征向量矩阵v上,得到降维后的数据集z,表示为:

3本文档来自技高网...

【技术保护点】

1.一种基于数据挖掘的企业数字化智能运营方法,其特征在于:具体包括以下步骤:

2.根据权利要求1所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述S2的数据挖掘算法具体包括:

3.根据权利要求2所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述收敛条件指当聚类中心点不再发生显著变化时,数据挖掘算法达到收敛,具体为,定义一个阈值L,当每个聚类中心点的移动距离小于该阈值L时,数据挖掘算法即认为已经收敛,表示聚类中心点已经稳定下来,不再发生显著的变化,结束迭代。

4.根据权利要求2所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述距离最近的聚类中心点的计算方法是,通过最小化目标函数最小化每个数据点与其所属类别的聚类中心点之间的距离的总和,具体为:

5.根据权利要求1所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述S3中的去除重复数据和排序操作具体包括:

6.根据权利要求1所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述S5中在发生哈希冲突时,即两个不同的键值通过哈希函数得到相同的哈希值,使用开放寻址法或者链地址法来解决冲突;

7.根据权利要求1所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述S6中,假设原始数据集为Y,目标降维后的数据集为Z,采用主成分分析进行降维近似算法计算时方式为:

8.根据权利要求7所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述S6中核主成分分析算法,首先将原始数据集Y映射到高维特征空间,得到映射后的数据集Φ(Y),然后,对映射后的数据集Φ(Y)进行线性PCA,得到降维后的数据集Z,具体的计算公式如下:

9.根据权利要求1所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述S7中,设空闲传输线路传输优先级为C,设权限等级为Q,待传输的数据容量为S,则:

10.一种企业数字化智能运营系统,包括权利要求1所述方法中的若干部门系统,还包括主系统,其特征在于:所述主系统拥有所有部门系统的系统功能,并拥有完整管理权限,还包括数据挖掘分配单元、数据传输处理单元和数据传输线路,所述数据传输线路还包括主传输线路和空闲传输线路,所述主系统与数据传输线路连接以传输数据,所述数据挖掘分配单元用于挖掘部门系统数据并分配于部门系统,所述数据传输处理用于处理数据并在部门系统之间以及主系统与部门系统之间传输数据。

...

【技术特征摘要】

1.一种基于数据挖掘的企业数字化智能运营方法,其特征在于:具体包括以下步骤:

2.根据权利要求1所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述s2的数据挖掘算法具体包括:

3.根据权利要求2所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述收敛条件指当聚类中心点不再发生显著变化时,数据挖掘算法达到收敛,具体为,定义一个阈值l,当每个聚类中心点的移动距离小于该阈值l时,数据挖掘算法即认为已经收敛,表示聚类中心点已经稳定下来,不再发生显著的变化,结束迭代。

4.根据权利要求2所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述距离最近的聚类中心点的计算方法是,通过最小化目标函数最小化每个数据点与其所属类别的聚类中心点之间的距离的总和,具体为:

5.根据权利要求1所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述s3中的去除重复数据和排序操作具体包括:

6.根据权利要求1所述的一种基于数据挖掘的企业数字化智能运营方法,其特征在于:所述s5中在发生哈希冲突时,即两个不同的键值通过哈希函数得到相同的哈希值,使用开放寻址法或者链地址法来解决冲突;

...

【专利技术属性】
技术研发人员:肖增杰岳永杰刘国伟丁桂玲王聍若王超
申请(专利权)人:山东杰出人才发展集团有限公司
类型:发明
国别省市:

网友询问留言 已有0条评论
  • 还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。

1