【技术实现步骤摘要】
本专利技术涉及计算机领域，并且更具体地涉及一种基于开源社区的数据分析的方法、装置、设备及可读介质。
技术介绍
1、为促进社区的健康发展和用户参与度的提升，为社区的发展和决策提供数据支持，开源社区数据采集是十分必要的。通过数据采集，可以了解社区的活跃程度、用户活动频率、开发者贡献等指标，方便监测社区活跃度，可以发现用户需求，获取用户在社区中的需求和讨论的焦点。对用户调研、产品规划、决策制定提供数据支撑，帮助社区更好地适应用户需求变化，同时可以监测社区的治理过程和决策效果，采集项目中的讨论记录、邮件列表、社交媒体反馈等数据，可以帮助社区了解决策的影响和社区成员的反馈，这有助于提升社区的决策透明度、分析社区决策的效果以及改进决策的流程和方法。采集社区中用户的反馈和评价数据，可以作为项目的推广和营销素材，这些数据可以用于撰写用户案例、生成口碑展示、形成社区成功故事等，从而吸引更多的用户和开发者参与到社区中。
2、综上，开源社区数据采集的必要性在于提供数据支持，以促进社区的发展、改进社区治理、满足用户需求。数据采集为社区提供了客观、可量化的依据，帮助决策者做出更明智的决策，为社区的长期发展做出贡献。
技术实现思路
1、有鉴于此，本专利技术实施例的目的在于提出一种基于开源社区的数据分析的方法、装置、设备及可读介质，通过使用本专利技术的技术方案，能够协助运营人员快速了解当前社区各项指标，更好的运营开源社区。
2、基于上述目的，本专利技术的实施例的一个方面提供了一种基于开源
3、从各种数据源中收集数据，并对收集到的数据进行清洗后存储到mysql数据库中；
4、对mysql数据库中存储的数据通过预设的规则进行分析和处理以对数据进行整合；
5、对整合后的数据以可视化的形式进行展示；
6、实时监测和分析数据以获得重要的指标和警告，并将指标和警告进行消息推送。
7、根据本专利技术的一个实施例，从各种数据源中收集数据，并对收集到的数据进行清洗后存储到mysql数据库中包括：
8、根据不同的数据源中的数据创建对应的爬虫逻辑；
9、编写定时任务以定时爬取相关数据，并将爬取的结果放入消息队列中；
10、消费结果，并根据结果类型标识寻找对应算子，并经过算子对数据进行清洗和分析；
11、将清洗后的数据存储到mysql数据库中。
12、根据本专利技术的一个实施例，从各种数据源中收集数据，并对收集到的数据进行清洗后存储到mysql数据库中包括：
13、响应于用户打开埋有数据采集点的网页，触发伪装成图片的行为发送请求；
14、将行为结果放入消息队列中；
15、消费结果，并将行为信息按照分类存储到mysql数据库中。
16、根据本专利技术的一个实施例，对mysql数据库中存储的数据通过预设的规则进行分析和处理以对数据进行整合包括：
17、通过定时任务获取mysql数据库中初步清洗后的数据，并将数据放入消息队列中；
18、对消息队列中的数据进行消费，并根据预设的运算逻辑处理数据；
19、将处理完成的数据写入elasticsearch搜索引擎中；
20、elasticsearch搜索引擎根据不同的结果分类创建不同类型的结果索引；
21、将结果按照索引进行存储，并进行聚合。
22、根据本专利技术的一个实施例，对整合后的数据以可视化的形式进行展示包括：
23、展示页面向数据组装服务发起restful请求；
24、响应于服务端接收到请求或定位对应的数据展示算子，通过算子组装elasticsearch查询语句，并对查询结果进行筛选；
25、算子获取到查询结果后对数据进行改造以适配相应的数据格式；
26、展示页面获取接口返回的结果并进行展示。
27、根据本专利技术的一个实施例，实时监测和分析数据以获得重要的指标和警告，并将指标和警告进行消息推送包括：
28、编写指标查询语句，并创建定时任务；
29、定时查询结果，并判断查询到的结果是否达到指标或预警标准；
30、响应于查询到的结果达到指标或预警标准，通过短信或邮件的方式进行消息推送。
31、根据本专利技术的一个实施例，各种数据源包括数据库、网页、文件和api。
32、本专利技术的实施例的另一个方面，还提供了一种基于开源社区的数据分析的装置，装置包括：
33、收集模块，收集模块配置为从各种数据源中收集数据，并对收集到的数据进行清洗后存储到mysql数据库中；
34、整理模块，整理模块配置为对mysql数据库中存储的数据通过预设的规则进行分析和处理以对数据进行整合；
35、展示模块，展示模块配置为对整合后的数据以可视化的形式进行展示；
36、推送模块，推送模块配置为实时监测和分析数据以获得重要的指标和警告，并将指标和警告进行消息推送。
37、本专利技术的实施例的另一个方面，还提供了一种计算机设备，该计算机设备包括：
38、至少一个处理器；以及
39、存储器，存储器存储有可在处理器上运行的计算机指令，指令由处理器执行时实现上述任意一项方法的步骤。
40、本专利技术的实施例的另一个方面，还提供了一种计算机可读存储介质，计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现上述任意一项方法的步骤。
41、本专利技术具有以下有益技术效果：本专利技术实施例提供的基于开源社区的数据分析的方法，通过从各种数据源中收集数据，并对收集到的数据进行清洗后存储到mysql数据库中；对mysql数据库中存储的数据通过预设的规则进行分析和处理以对数据进行整合；对整合后的数据以可视化的形式进行展示；实时监测和分析数据以获得重要的指标和警告，并将指标和警告进行消息推送的技术方案，能够协助运营人员快速了解当前社区各项指标，更好的运营开源社区。
本文档来自技高网...【技术保护点】
1.一种基于开源社区的数据分析的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，从各种数据源中收集数据，并对收集到的数据进行清洗后存储到mysql数据库中包括：
3.根据权利要求1所述的方法，其特征在于，从各种数据源中收集数据，并对收集到的数据进行清洗后存储到mysql数据库中包括：
4.根据权利要求1所述的方法，其特征在于，对mysql数据库中存储的数据通过预设的规则进行分析和处理以对数据进行整合包括：
5.根据权利要求1所述的方法，其特征在于，对整合后的数据以可视化的形式进行展示包括：
6.根据权利要求1所述的方法，其特征在于，实时监测和分析数据以获得重要的指标和警告，并将指标和警告进行消息推送包括：
7.根据权利要求1所述的方法，其特征在于，各种数据源包括数据库、网页、文件和API。
8.一种基于开源社区的数据分析的装置，其特征在于，所述装置包括：
9.一种计算机设备，其特征在于，包括：
10.一种计算机可读存储介质，所述计算机可读存储介质
...【技术特征摘要】
1.一种基于开源社区的数据分析的方法，其特征在于，包括以下步骤：
2.根据权利要求1所述的方法，其特征在于，从各种数据源中收集数据，并对收集到的数据进行清洗后存储到mysql数据库中包括：
3.根据权利要求1所述的方法，其特征在于，从各种数据源中收集数据，并对收集到的数据进行清洗后存储到mysql数据库中包括：
4.根据权利要求1所述的方法，其特征在于，对mysql数据库中存储的数据通过预设的规则进行分析和处理以对数据进行整合包括：
5.根据权利要求1所述的方法，其特征在于，对整合后的数据以可视...
【专利技术属性】
技术研发人员：乔东旭，周祥国，亓文豪，
申请(专利权)人：浪潮通用软件有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。