【技术实现步骤摘要】
本专利技术涉及数据分析，尤其是涉及一种实现数据和日志分析及安全运营的系统及应用。
技术介绍
1、近些年来，全球网络威胁持续增长，各类网络攻击和网络犯罪现象日益突出，并呈现出：攻击工具趋于专业化、目的趋于商业化、行为趋于组织化、手段趋于多样化等特点。
2、在移动互联网、物联网、云计算等快速发展背景下，网络安全迎来了更多新挑战，企业与个人信息安全备受各界重视，并着力部署网络安全防御策略，网络安全产业规模扩大。
3、因此soc安全管理平台尤为重要，他以资产为核心，以安全事件管理为关键流程，采用安全域划分的思想，建立一套实时的资产风险模型，协助管理员进行事件分析、风险分析、预警管理和应急响应处理的集中安全管理系统。
4、上述中的现有技术方案存在以下缺陷：
5、1.当前网络安全威胁环境正迅速演变，攻击的频率和复杂性都在增加，且攻击载体及策略多样化，这使得传统的防御手段难以全面应对。
6、2.企业在网络安全管理中通常需整合多种工具和平台。由于不同工具间的协同和通信存在差异，这可能导致安全管理的效率和效果降低。
7、3.市面上的安全产品和解决方案往往价格高昂，而且它们的配置和操作要求相对复杂，对普通用户而言存在一定的技术门槛。
8、4.随着信息技术和网络技术的快速发展，兼容性问题逐渐显现。许多安全产品可能难以适应新型的软件、产品或平台。
9、5.现有的安全产品中，误报率是一个长期存在的问题。这不仅可能导致资源浪费，而且在某些情况下可能会影响正常业务
10、大多数安全工具的定制化能力相对有限，这意味着企业可能无法针对其独特的业务和技术环境进行精细的配置和调整。
技术实现思路
1、针对现有技术存在的不足，本专利技术的目的是提供一种实现数据和日志分析及安全运营的系统及应用，其使得企业能够根据自己的需求进行快速部署和扩展，同时保证数据的安全性，并且大大降低了用户的学习成本和使用门槛，提高了用户的工作效率。
2、本专利技术的上述专利技术目的是通过以下技术方案得以实现的：
3、一种实现数据和日志分析及安全运营的系统，包括全容器架构、前端应用、后端应用、计算服务模块、数据库、数据仓库、消息队列模块以及日志转发器；
4、所述全容器架构用于确保每个服务组件可以独立地进行伸缩和部署，满足不同业务规模的需求；
5、所述前端应用与所述后端应用共同形成用户交互界面，所述前端应用用于提供图形化界面，所述后端应用用于处理业务逻辑；
6、所述计算服务模块用于负责处理大数据和运行ai算法；
7、所述数据库与所述数据仓库用于存储和管理用户数据、系统配置和分析结果；
8、所述消息队列用于确保各个组件之间的数据交互顺畅和无延迟；
9、所述日志转发器用于实时收集、处理和转发系统日志。
10、作为本专利技术的进一步的技术方案：用户通过所述前端应用提交请求，所述后端应用接收请求并处理或转发给其他相关组件；
11、所述计算服务模块与所述数据库、所述数据仓库紧密集成，确保数据的准确性和及时性；
12、所述消息队列模块负责在所述前端应用、所述后端应用、所述计算服务模块和所述数据库之间转发数据和命令；
13、所述日志转发器将所有系统日志发送至所述数据仓库进行存储和分析。
14、作为本专利技术的进一步的技术方案：所述系统的动作过程包括以下步骤：
15、用户通过图形化界面选择所需的usecase，实现自动检测和告警通知服务；
16、后端应用根据所选usecase配置计算服务，计算服务模块运行相关ai算法，结合ueba技术对数据进行分析；
17、分析结果存储在数据库中，并在前端应用中可视化展示给用户，
18、用户可以进一步使用fnl查询语言进行详细查询和分析。
19、作为本专利技术的进一步的技术方案：用户通过所述前端应用登录到系统后，可以提交各种请求，如数据查询、创建、更新或删除操作；
20、用户的请求将被传输到后端的所述计算服务模块，后端的所述计算服务模块充当系统的核心处理引擎，用于接收并解析用户请求，根据请求的类型和内容执行相应的操作；
21、为了保持系统的数据持久性和一致性，相关信息被保存在所述数据库中，所述数据库充当系统的持久化存储，用于存储和检索用户数据、系统配置和其他必要的信息；
22、后端的所述计算服务模块在需要时与所述数据库进行交互，执行数据操作并更新数据的状态。
23、作为本专利技术的进一步的技术方案：为了实现应用程序的异步和解耦，所述系统引入了所述消息队列模块作为消息代理，所述消息队列模块负责接收和处理usecase，后端的所述计算服务模块将usecase转换为消息，并将其发布到所述消息队列模块中，所述消息队列模块负责异步处理这些消息，并将相应的任务分发给适当的消费者进行处理。
24、作为本专利技术的进一步的技术方案：所述日志转发器是一个用于日志收集、处理和转发的工具，它从各种来源(如日志文件、数据库、安全设备)获取数据，并对数据进行预处理，然后将其发送给所述数据仓库，所述数据仓库是一个分布式日志搜索和分析引擎，能够高效地存储和索引大量的日志数据。
25、作为本专利技术的进一步的技术方案：所述系统内设置有usecase库，所述usecase库内置超过300个针对不同场景、产品和行业的usecase，用户可以根据实际需要选择和定制这些usecase；
26、用户能够根据usecase对其实际产生的价值对usecase进行评分，管理员根据用户的反馈对usecase库进行持续优化，达到相互促进/共赢的效果。
27、作为本专利技术的进一步的技术方案：所述系统结合了ai技术和用户和实体行为分析技术，对触发的usecase进行智能分析和评级。
28、作为本专利技术的进一步的技术方案：所述系统中还包括安全资产模块，所述安全资产模块用于实现漏洞检测功能，根据资产版本与cnvd、cnnvd、cve公开漏洞网站公布的漏洞所影响的范围进行匹配，然后形成工单并邮件通知给管理员进行后续跟踪修复，同时为了管理员能够了解整体资产、漏洞库、工单情况，还定制了可视化展示板。
29、作为本专利技术的进一步的技术方案：所述系统还包括交互界面，所述交互界面是一个图形化的交互界面，用户可以通过拖放的方式完成大部分操作；
30、所述系统设置了fnl查询语言，所述fnl查询语言在查询逻辑、语法树领域进行完全自定义，同时通过独立执行子查询并将结果存储，然后再用这些结果进行主查询、对数据进行预处理(如在索引时就计算一些基础统计)的方式对查询性能进行优化。
31、作为本专利技术的进一步的技术方案：一种实现数据和日志分析及安全运营的系统在企业数据安全分析中的应用。
32、综上所述，本专利技术包括以本文档来自技高网...
【技术保护点】
1.一种实现数据和日志分析及安全运营的系统，其特征在于，包括全容器架构、前端应用、后端应用、计算服务模块、数据库、数据仓库、消息队列模块以及日志转发器；
2.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，用户通过所述前端应用提交请求，所述后端应用接收请求并处理或转发给其他相关组件；
3.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，所述系统的动作过程包括以下步骤：
4.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，用户通过所述前端应用登录到系统后，可以提交各种请求，如数据查询、创建、更新或删除操作；
5.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，为了实现应用程序的异步和解耦，所述系统引入了所述消息队列模块作为消息代理，所述消息队列模块负责接收和处理Usecase，后端的所述计算服务模块将Usecase转换为消息，并将其发布到所述消息队列模块中，所述消息队列模块负责异步处理这些消息，并将相应的任务分发给适当的消费者进行处理。p>
6.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，所述日志转发器是一个用于日志收集、处理和转发的工具，它从各种来源(如日志文件、数据库、安全设备)获取数据，并对数据进行预处理，然后将其发送给所述数据仓库，所述数据仓库是一个分布式日志搜索和分析引擎，能够高效地存储和索引大量的日志数据。
7.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，所述系统内设置有Usecase库，所述Usecase库内置超过300个针对不同场景、产品和行业的Usecase，用户可以根据实际需要选择和定制这些Usecase；
8.根据权利要求7所述的一种实现数据和日志分析及安全运营的系统，其特征在于，所述系统结合了AI技术和用户和实体行为分析技术，对触发的Usecase进行智能分析和评级。
9.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，所述系统中还包括安全资产模块，所述安全资产模块用于实现漏洞检测功能，根据资产版本与CNVD、CNNVD、CVE公开漏洞网站公布的漏洞所影响的范围进行匹配，然后形成工单并邮件通知给管理员进行后续跟踪修复，同时为了管理员能够了解整体资产、漏洞库、工单情况，还定制了可视化展示板。
10.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，所述系统还包括交互界面，所述交互界面是一个图形化的交互界面，用户可以通过拖放的方式完成大部分操作；
11.如权利要求1-10任一项所述的一种实现数据和日志分析及安全运营的系统在企业数据安全分析中的应用。
...【技术特征摘要】
1.一种实现数据和日志分析及安全运营的系统，其特征在于，包括全容器架构、前端应用、后端应用、计算服务模块、数据库、数据仓库、消息队列模块以及日志转发器；
2.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，用户通过所述前端应用提交请求，所述后端应用接收请求并处理或转发给其他相关组件；
3.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，所述系统的动作过程包括以下步骤：
4.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，用户通过所述前端应用登录到系统后，可以提交各种请求，如数据查询、创建、更新或删除操作；
5.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，为了实现应用程序的异步和解耦，所述系统引入了所述消息队列模块作为消息代理，所述消息队列模块负责接收和处理usecase，后端的所述计算服务模块将usecase转换为消息，并将其发布到所述消息队列模块中，所述消息队列模块负责异步处理这些消息，并将相应的任务分发给适当的消费者进行处理。
6.根据权利要求1所述的一种实现数据和日志分析及安全运营的系统，其特征在于，所述日志转发器是一个用于日志收集、处理和转发的工具，它从各种来源(如日志文件、数据库、安全设备)获取数据，并对数据进行预处理，然...
【专利技术属性】
技术研发人员：吕昌，
申请(专利权)人：上海飞络信息科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。