【技术实现步骤摘要】
本专利技术属于信息侦察领域，尤其涉及一种企业信息侦察平台及方法。
技术介绍
1、企业信息侦察平台属于大数据平台范筹，目前市场上对大数据平台的研发在技术应用方面呈现出多样性和广泛性，但在数据安全性、实时数据集成效益、数据处理和分析性能和算法和模型上或多或少存在如下一些不足：
2、1、数据安全性问题：平台可能存储敏感信息，如果不恰当地保护，可能导致数据泄露。同时不当的数据访问权限设置可能导致未经授权的人员访问敏感数据。
3、2、实时数据集成问题：实时数据流集成和批处理数据集成的性能要求不同。实时流处理需要低延迟和高吞吐量，而批处理更注重高效的大规模数据分析。目前大部分平台在满足这两种要求之间不能取得很好的平衡，出现了顾此失彼的情况，既不能够很好满足实时应用程序的需求，又不能够高效处理批量数据。
4、3、数据处理和分析问题：平台需要大量的计算资源，可能导致分析速度较慢。同时将不同数据源的数据集成到一个平台可能非常复杂，需要解决数据格式、协议等多个问题，需要支持不同类型的数据，包括结构化、半结构化和非结构化数据，这些都需要复杂的处理方法。
5、4、算法和模型问题：大部分数据平台需要用户或开发者手动编写适当的模型脚本，这要求操作者具备深入的领域知识和经验，对于非专业的数据分析师来说是较大挑战。平台没有提供自动化数据分析模型，也导致了性能不佳和效率低下，使用不适当的模型也导致了分析结果不准确。
技术实现思路
1、为解决上述问题，本专利技术提供了如
2、数据采集模块，用于基于初始企业客户数据拓展数据源，引入工商合作数据，同时收集征信、垂直门户、企业新闻的网站数据；
3、数据处理模块，与所述数据采集模块连接，用于对拓展数据进行数据规划化处理，获得目标企业数据；
4、模型构建模块，与所述数据处理模块连接，用于基于所述目标企业数据，融合企业商机信息，构建市场空间挖掘模型；
5、模型预测模块，与所述模型构建模块连接，用于根据所述市场空间挖掘模型进行企业商情分析和商机挖掘，获得预测结果；
6、风险预测模块，与所述模型预测模块连接，用于根据所述预测结果进行风险判断和预警，获得企业经营的异常情况，并输出可视化风险分析结果和分析报告。
7、优选地，所述数据处理模块包括数据汇聚单元、数据清洗和整合单元、数据存储单元、接口设计单元；
8、所述数据汇聚单元用于利用sqoop组件将关系数据库的数据，通过sqoop的命令导入到hadoop或者hive中；还用于采用oozie组件处理数据导入的串行和并行任务；
9、所述数据清洗和整合单元用于导入数据时，采用hadoop组件、hive组件、spark组件对含有无用信息的脏数据，进行一致性检查、无效值和缺失值的处理、重复数据的处理以及数据的标准化处理；
10、所述数据存储单元用于将处理好的结构化数据，通过spark调用oracle、mysql关系数据库以及内存数据库redis的接口，存入到对应的数据库中；
11、所述接口设计单元用于使用restful设计原则定义api的端点和数据交互方式，以及使用json或xml定义api的数据格式。
12、优选地，所述数据存储单元包括数据湖和数据仓库；
13、所述数据湖用于存储原始、未处理的数据，包括结构化、半结构化和非结构化数据；
14、所述数据仓库用于存储经过清洗、转换和整理的数据，以支持高性能批处理分析。
15、优选地，所述市场空间挖掘模型包括蓝海市场空间挖掘模型、存量市场空间挖掘模型；
16、所述蓝海市场空间挖掘模型包括业务招标分析模型、本网关联企业模型、新设企业挖掘模型；
17、所述存量市场空间挖掘模型包括需求挖掘模型、业务升级模型。
18、优选地，所述模型预测模块包括信息库搭建单元、商机挖掘单元、预测单元；
19、所述信息库搭建单元用于根据所导入企业数据的招投标信息创建数据库表格，然后设计数据模型，确定所述表格之间的关系，获得市场招投标信息库；
20、所述商机挖掘单元用于基于所述市场招投标信息库，结合本网存量企业客户信息，搭建市场空间大数据挖掘模型库，挖掘蓝海市场、存量市场、他网市场政企业务发展空间；
21、所述预测单元用于市场空间挖掘后，用户根据需要将筛选后的企业数据和业务匹配报告，进行可视化展示以及导出到文件中。
22、优选地，所述风险预测模块包括信息变更监测单元、负面信息侦别单元、负面信息归集单元、风险预警单元、可视化输出单元；
23、所述信息变更监测单元用于应用实时数据流处理技术，监测和分析数据湖中数据流的实时变更，获取企业各维度的变更信息；
24、所述负面信息侦别单元用于集成关键词匹配、主题建模、词嵌入、情感分析、规则引擎、监督学习的不同算法，对市场空间挖掘模型的分析结果进行集成；
25、所述负面信息归集单元用于自动选择训练好的模型，并将训练好的模块应用于待分类的文本数据，将所述文本数据归类到不同的负面信息类别；
26、所述风险预警单元用于当企业存在风险时，通过电子邮件和短信通知相关人员；
27、所述可视化输出单元用于将风险分析结果进行可视化展示，并将风险分析报告进行导出。
28、本专利技术还提供一种企业信息侦察方法，包括以下步骤：
29、基于初始企业客户数据拓展数据源，引入工商合作数据，同时收集征信、垂直门户、企业新闻的网站数据，通过数据规划化处理获得目标企业数据；
30、基于所述目标企业数据，融合企业商机信息，构建市场空间挖掘模型；根据所述市场空间挖掘模型进行企业商情分析和商机挖掘，获得预测结果；
31、根据所述预测结果进行风险判断和预警，获得企业经营的异常情况，并输出可视化异常结果和分析报告。
32、优选地，所述通过数据规划化处理获得目标企业数据的过程包括，
33、利用sqoop组件将关系数据库的数据，通过sqoop的命令导入到hadoop或者hive中，并采用oozie组件处理数据导入的串行和并行任务；
34、在导入数据时，采用hadoop组件、hive组件、spark组件对含有无用信息的脏数据，进行一致性检查、无效值和缺失值的处理、重复数据的处理以及数据的标准化处理；
35、将处理好的结构化数据，通过spark调用oracle、mysql等关系数据库以及内存数据库redis的接口，存入到对应的数据库中；
36、设计数据服务接口，使用restful设计原则定义api的端点和数据交互方式，使用json或xml定义api的数据格式。
37、优选地，根据所述市场空间挖掘模型进行企业商情分析和商机挖掘，获得预测结果的过程本文档来自技高网...
【技术保护点】
1.一种企业信息侦察平台，其特征在于，包括：
2.根据权利要求1所述的企业信息侦察平台，其特征在于，
3.根据权利要求2所述的企业信息侦察平台，其特征在于，
4.根据权利要求1所述的企业信息侦察平台，其特征在于，
5.根据权利要求1所述的企业信息侦察平台，其特征在于，
6.根据权利要求1所述的企业信息侦察平台，其特征在于，
7.一种企业信息侦察方法，其特征在于，包括以下步骤：
8.根据权利要求7所述的企业信息侦察方法，其特征在于，
9.根据权利要求7所述的企业信息侦察方法，其特征在于，
10.根据权利要求7所述的企业信息侦察方法，其特征在于，
【技术特征摘要】
1.一种企业信息侦察平台，其特征在于，包括：
2.根据权利要求1所述的企业信息侦察平台，其特征在于，
3.根据权利要求2所述的企业信息侦察平台，其特征在于，
4.根据权利要求1所述的企业信息侦察平台，其特征在于，
5.根据权利要求1所述的企业信息侦察平台，其特征在于，
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。