基于哈希算法的企业画像数据预处理方法和系统技术方案

本申请公开了一种基于哈希算法的企业画像数据预处理方法和系统，方法包括：计算企业数据库内存储的企业旧数据指标项的权重；设定权重阈值；设定企业主要旧数据指标项和企业次要旧数据指标项；计算MainData和SecondaryData的哈希值；将MainResult和SecondaryResult存入企业数据库内；采集企业新数据指标项；设定企业主要新数据指标项和企业次要新数据指标项；计算MainDataNew和SecondaryDataNew的哈希值；比较新旧哈希值。本发明专利技术将企业数据指标项变换成两个哈希值，简化了哈希值对比次数。通过不同的哈希算法计算哈希值，降低了计算资源的浪费，提高了数据处理效率。

【技术实现步骤摘要】
基于哈希算法的企业画像数据预处理方法和系统
本专利技术涉及数据处理
，尤其涉及一种基于哈希算法的企业画像数据预处理方法和系统。
技术介绍
随着网络技术不断发展，用户在网上留存的痕迹越来越多，我们可以对用户在不同网络环境中留下的大量个人痕迹等碎片化数据进行充分的挖掘，发现其中潜在的价值，这就是用户画像技术。受此影响，将企业作为一个个体同样可以进行画像刻画，通过搜集企业的一系列相关数据进行处理分析，抽取出可以描述企业特征的标签体系，满足政府对企业的监管引导、企业实体合作、金融机构评估等各类日益增长的需求。企业画像的刻画是在企业各类相关数据的汇聚融合基础上进行的，很大程度上依赖于互联网数据的采集，如企业公布的财务报告、企业招聘信息、企业涉诉情况、各类舆情信息等，均需通过互联网获取。互联网数据具有更新频率高、数据量大、内容繁杂、结构不统一等特点，这给互联网数据的汇聚融合带来很大障碍。一个企业的数据指标项有几十甚至上百项，考虑到数据存储的冗余限制，不可能所有新采集的数据均存入数据库中，只有必要的已发生更新的指标项数据才会执行更新操作。而逐一对比各项指标内容将耗费大量计算资源，在企业基数达到几十万甚至上百万时，这个问题也将呈指数级放大。因此，有必要通过技术革新来缓解或解决这个数据比对过程中耗费资源巨大的问题。
技术实现思路
本专利技术公开了一种基于哈希算法的企业画像数据预处理方法，包括步骤：计算企业数据库内存储的企业旧数据指标项的权重；设定权重阈值；将权重大于或等于所述权重阈值的企业旧数据指标项设定为企业主要旧数据指标项，将权重小于所述权重阈值的企业旧数据指标项设定为企业次要旧数据指标项；将所述企业主要旧数据指标项按设定顺序整合形成统一的数据串，定义为MainData；将所述企业次要旧数据指标项按设定顺序整合形成统一的数据串，定义为SecondaryData；计算所述MainData和所述SecondaryData的哈希值，包括步骤：采用SHA1算法计算所述MainData的哈希值，计算结果为MainResult；采用MD5算法计算所述SecondaryData的哈希值，计算结果为SecondaryResult；将所述MainResult和所述SecondaryResult存入所述企业数据库内；通过互联网采集与所述企业旧数据指标项对应的企业新数据指标项；将与所述企业主要旧数据指标项对应的企业新数据指标项设定为企业主要新数据指标项，将与所述企业次要旧数据指标项对应的企业新数据指标项设定为企业次要新数据指标项；将所述企业主要新数据指标项按设定顺序整合形成统一的数据串，定义为MainDataNew；将所述企业次要新数据指标项按设定顺序整合形成统一的数据串，定义为SecondaryDataNew；计算所述MainDataNew和所述SecondaryDataNew的哈希值，包括步骤：采用SHA1算法计算所述MainDataNew的哈希值，计算结果为MainResultNew；采用MD5算法计算所述SecondaryDataNew的哈希值，计算结果为SecondaryResultNew；比较新旧哈希值，包括步骤：当MainResultNew＝MainResult，SecondaryResultNew＝SecondaryResult时，所述企业数据库中数据指标不更新；当MainResultNew＝MainResult，SecondaryResultNew≠SecondaryResult时，将企业次要新数据指标项更新进所述企业数据库中，同步将SecondaryResultNew值赋予SecondaryResult；当MainResultNew≠MainResult，SecondaryResultNew＝SecondaryResult时，将企业主要新数据指标项更新进所述企业数据库中，同步将MainResultNew值赋予MainResult；当MainResultNew≠MainResult，SecondaryResultNew≠SecondaryResult时，将企业主要新数据指标项和企业次要新数据指标项都更新进所述企业数据库中，同步将MainResultNew值赋予MainResult，SecondaryResultNew值赋予SecondaryResult。优选地，所述企业主要旧数据指标项的设定顺序与所述企业主要新数据指标项的设定顺序相同；所述企业次要旧数据指标项的设定顺序与所述企业次要新数据指标项的设定顺序相同。优选地，所述企业旧数据指标项包括注册资本、出口规模、对外投资、专利数量、涉诉案件数量、股权变更、招聘人员数、招聘评论、社交舆论和员工评价。优选地，还包括步骤：重复比较新旧哈希值过程。本专利技术还公开了一种基于哈希算法的企业画像数据预处理系统，包括：企业数据库管理模块、哈希值计算模块、数据采集模块、权重计算模块、数据指标项划分模块、以及哈希值比较模块，其中，所述企业数据库管理模块分别与所述权重计算模块、所述哈希值计算模块、以及所述哈希值比较模块相耦接，用于存储企业数据指标；提供企业数据库内存储的企业旧数据指标项给所述权重计算模块，接收所述哈希值计算模块发送的MainResult和SecondaryResult；接收所述哈希值比较模块发送的MainResultNew、SecondaryResultNew、企业主要新数据指标项、以及企业次要新数据指标项；权重计算模块分别与所述企业数据库管理模块和所述数据指标项划分模块相耦接，用于接收所述企业数据库管理模块提供的所述企业数据库内存储的企业旧数据指标项，计算企业数据库内存储的企业旧数据指标项的权重，并将所述企业旧数据指标项的权重发送到所述数据指标项划分模块；所述数据指标项划分模块分别与所述权重计算模块和所述哈希值计算模块相耦接，用于接收所述权重计算模块发送的所述企业旧数据指标项的权重和设定权重阈值；将权重大于或等于所述权重阈值的企业旧数据指标项设定为企业主要旧数据指标项，将权重小于所述权重阈值的企业旧数据指标项设定为企业次要旧数据指标项，并将所述企业主要旧数据指标项和所述企业次要旧数据指标项发送到所述哈希值计算模块；所述数据采集模块与所述哈希值计算模块相耦接，用于通过互联网采集与所述企业旧数据指标项对应的企业新数据指标项，将与所述企业主要旧数据指标项对应的企业新数据指标项设定为企业主要新数据指标项，将与所述企业次要旧数据指标项对应的企业新数据指标项设定为企业次要新数据指标项；将所述企业主要新数据指标项和所述企业次要新数据指标项发送到所述哈希值计算模块；所述哈希值计算模块分别与所述企业数据库管理模块、所述数据指标项划分模块、所述数据采集模块、以及所述哈希值比较模块相耦接，用于接收所述数据指标项划分模块发送的所述企业主要旧数据指标项和所述企业次要旧数据指标项，接收所述数据采集模块发送的所述企业主要新数据指标项和所述企业次要新数据指标项；将所述企业主要旧数据指标项按设定顺序整合形成统一的数据串，定义为MainData，将所述企业次要旧数据指标项按设定顺序整合形成统一的数据串，定义为SecondaryData，采用SHA1算法计算所述MainData的哈希值，计算结果为所述Ma本文档来自技高网...

【技术保护点】
1.一种基于哈希算法的企业画像数据预处理方法，其特征在于，包括步骤：计算企业数据库内存储的企业旧数据指标项的权重；设定权重阈值；将权重大于或等于所述权重阈值的企业旧数据指标项设定为企业主要旧数据指标项，将权重小于所述权重阈值的企业旧数据指标项设定为企业次要旧数据指标项；将所述企业主要旧数据指标项按设定顺序整合形成统一的数据串，定义为MainData；将所述企业次要旧数据指标项按设定顺序整合形成统一的数据串，定义为SecondaryData；计算所述MainData和所述SecondaryData的哈希值，包括步骤：采用SHA1算法计算所述MainData的哈希值，计算结果为MainResult；采用MD5算法计算所述SecondaryData的哈希值，计算结果为SecondaryResult；将所述MainResult和所述SecondaryResult存入所述企业数据库内；通过互联网采集与所述企业旧数据指标项对应的企业新数据指标项；将与所述企业主要旧数据指标项对应的企业新数据指标项设定为企业主要新数据指标项，将与所述企业次要旧数据指标项对应的企业新数据指标项设定为企业次要新数据指标项；将所述企业主要新数据指标项按设定顺序整合形成统一的数据串，定义为MainDataNew；将所述企业次要新数据指标项按设定顺序整合形成统一的数据串，定义为SecondaryDataNew；计算所述MainDataNew和所述SecondaryDataNew的哈希值，包括步骤：采用SHA1算法计算所述MainDataNew的哈希值，计算结果为MainResultNew；采用MD5算法计算所述SecondaryDataNew的哈希值，计算结果为SecondaryResultNew；比较新旧哈希值，包括步骤：当MainResultNew＝MainResult，SecondaryResultNew＝SecondaryResult时，所述企业数据库中数据指标不更新；当MainResultNew＝MainResult，SecondaryResultNew≠SecondaryResult时，将企业次要新数据指标项更新进所述企业数据库中，同步将SecondaryResultNew值赋予SecondaryResult；当MainResultNew≠MainResult，SecondaryResultNew＝SecondaryResult时，将企业主要新数据指标项更新进所述企业数据库中，同步将MainResultNew值赋予MainResult；当MainResultNew≠MainResult，SecondaryResultNew≠SecondaryResult时，将企业主要新数据指标项和企业次要新数据指标项都更新进所述企业数据库中，同步将MainResultNew值赋予MainResult，SecondaryResultNew值赋予SecondaryResult。...

【技术特征摘要】
1.一种基于哈希算法的企业画像数据预处理方法，其特征在于，包括步骤：计算企业数据库内存储的企业旧数据指标项的权重；设定权重阈值；将权重大于或等于所述权重阈值的企业旧数据指标项设定为企业主要旧数据指标项，将权重小于所述权重阈值的企业旧数据指标项设定为企业次要旧数据指标项；将所述企业主要旧数据指标项按设定顺序整合形成统一的数据串，定义为MainData；将所述企业次要旧数据指标项按设定顺序整合形成统一的数据串，定义为SecondaryData；计算所述MainData和所述SecondaryData的哈希值，包括步骤：采用SHA1算法计算所述MainData的哈希值，计算结果为MainResult；采用MD5算法计算所述SecondaryData的哈希值，计算结果为SecondaryResult；将所述MainResult和所述SecondaryResult存入所述企业数据库内；通过互联网采集与所述企业旧数据指标项对应的企业新数据指标项；将与所述企业主要旧数据指标项对应的企业新数据指标项设定为企业主要新数据指标项，将与所述企业次要旧数据指标项对应的企业新数据指标项设定为企业次要新数据指标项；将所述企业主要新数据指标项按设定顺序整合形成统一的数据串，定义为MainDataNew；将所述企业次要新数据指标项按设定顺序整合形成统一的数据串，定义为SecondaryDataNew；计算所述MainDataNew和所述SecondaryDataNew的哈希值，包括步骤：采用SHA1算法计算所述MainDataNew的哈希值，计算结果为MainResultNew；采用MD5算法计算所述SecondaryDataNew的哈希值，计算结果为SecondaryResultNew；比较新旧哈希值，包括步骤：当MainResultNew＝MainResult，SecondaryResultNew＝SecondaryResult时，所述企业数据库中数据指标不更新；当MainResultNew＝MainResult，SecondaryResultNew≠SecondaryResult时，将企业次要新数据指标项更新进所述企业数据库中，同步将SecondaryResultNew值赋予SecondaryResult；当MainResultNew≠MainResult，SecondaryResultNew＝SecondaryResult时，将企业主要新数据指标项更新进所述企业数据库中，同步将MainResultNew值赋予MainResult；当MainResultNew≠MainResult，SecondaryResultNew≠SecondaryResult时，将企业主要新数据指标项和企业次要新数据指标项都更新进所述企业数据库中，同步将MainResultNew值赋予MainResult，SecondaryResultNew值赋予SecondaryResult。2.根据权利要求1所述的基于哈希算法的企业画像数据预处理方法，其特征在于，所述企业主要旧数据指标项的设定顺序与所述企业主要新数据指标项的设定顺序相同；所述企业次要旧数据指标项的设定顺序与所述企业次要新数据指标项的设定顺序相同。3.根据权利要求1所述的基于哈希算法的企业画像数据预处理方法，其特征在于，所述企业旧数据指标项包括注册资本、出口规模、对外投资、专利数量、涉诉案件数量、股权变更、招聘人员数、招聘评论、社交舆论和员工评价。4.根据权利要求1所述的基于哈希算法的企业画像数据预处理方法，其特征在于，还包括步骤：重复比较新旧哈希值过程。5.一种基于哈希算法的企业画像数据预处理系统，其特征在于，包括：企业数据库管理模块、哈希值计算模块、数据采集模块、权重计算模块、数据指标项划分模块、以及哈希值比较模块，其中，所述企业数据库管理模块分别与所述权重计算模块、所述哈希值计算模块、以及所述哈希值比较模块相耦接，用于存储企业数据指标；提供企业数据库内存储的企业旧数据指标项给所述权重计算模块，接收所述哈希值计算模块发送的MainResult和SecondaryResult；接收所述哈希值比较模块发送的MainResultNew、SecondaryResultNew、企业主要新数据指标项、以及企业次要新数据指标项；权重计算模块分别与所述企业数据库管理模块和所述数据指标项划分模块相耦接，用于接收所述企业数据库管理模块提供的所述企业数据库内存储的企业旧数据指标项，计算企业数据库内存储的企业旧数据指标项的权重，并将所述企业旧数据指标项的权...

【专利技术属性】
技术研发人员：马述杰，田志伟，张同义，韦晓，田佳云，胡玉玲，陈钧，孙丹丹，郝敬全，
申请(专利权)人：泰华智慧产业集团股份有限公司，
类型：发明
国别省市：山东,37