【技术实现步骤摘要】
本专利技术涉及数据采集、存储和加工，具体地，涉及一种针对商保可回溯系统的数据加工存储方法和系统。
技术介绍
1、销售页面是保险机构在自营网络平台上设置的投保及承保全流程页面，包含提示进入投保流程、展示说明保险条款、履行提示和明确说明义务、验证投保人身份，及投保人填写投保信息、自主确认阅读有关信息、提交投保申请、缴纳保费等内容的网络页面。展现形式为移动端app、h5、小程序及web端页面等。互联网保险销售行为可回溯资料保管期限自保险合同终止之日起计算，保险期间在一年以下的不得少于五年，保险期间超过一年的不得少于十年。遇消费者投诉、法律诉讼等纠纷的，应当至少保存至纠纷结束后三年。
2、商保可回溯系统是一种涉及数据采集、存储和加工的系统，它需要对大量的数据进行实时处理，以便为用户提供准确的信息。然而，现有的商保可回溯系统在数据存储和加工方面存在一定的局限性，例如处理速度慢、数据存储不稳定等问题，同时还需要满足能存储5～10年的要求，并能随时查阅，因此，有必要研究一种新的技术方案，以提高商保可回溯系统的数据存储和加工能力。
3、专利文献cn116860846a公开了一种无侵入式的数据抽取加工方法及系统，包括：利用增量订阅消费组件提取多个业务系统的增量数据；通过jdbc获取多个业务系统的存量历史数据；对所述增量数据和所述存量历史数据进行实时加工处理，得到加工后数据；对所述加工后数据进行存储，将存储的加工后数据同步至多个业务系统，以供所述多个业务系统进行实时调用。然而该专利无法完全解决目前存在的技术问题，也无法满足本
技术实现思路
1、针对现有技术中的缺陷，本专利技术的目的是提供一种针对商保可回溯系统的数据加工存储方法和系统。
2、根据本专利技术提供的针对商保可回溯系统的数据加工存储方法，包括：
3、回溯采集步骤：移动端使用rrweb组件采集用户操作事件，并发送后台服务器进行存储；
4、数据采集步骤：使用数据采集工具filebeat，将商保可回溯系统产生的日志数据实时采集并发送到数据处理工具logstash中；
5、数据处理步骤：使用数据处理工具logstash，对接收到的日志数据进行过滤、转换和丰富操作；
6、数据存储步骤：将处理后的日志数据存储到文档型数据库mongodb中；
7、数据加工步骤：通过对文档型数据库mongodb中存储的数据进行查询、统计操作，实现对商保可回溯系统数据的加工。
8、优选地，通过回溯码字段来关联整个回溯视频，从mongodb中查询出所有收集到的回溯日志，对查询到的数据按时间进行升序排序、去重、编排，再整合成一条完整的视频文件，从而生成一个可回放的回溯视频文件。
9、优选地，数据过滤包括：数据处理工具logstash通过使用过滤器插件来处理数据，对包含ip地址的日志数据，使用geoip过滤器插件来添加地理位置信息，或使用grok过滤器插件来解析非结构化的日志数据，将其转化为结构化的数据。
10、优选地，数据转换包括：使用json输出插件来将过滤出的数据输出成json格式的数据。
11、优选地，数据丰富包括：使用mutate过滤器插件来添加新的字段，或使用date过滤器插件来修改日期字段的格式。
12、根据本专利技术提供的针对商保可回溯系统的数据加工存储系统，包括：
13、回溯采集模块：移动端使用rrweb组件采集用户操作事件，并发送后台服务器进行存储；
14、数据采集模块：使用数据采集工具filebeat，将商保可回溯系统产生的日志数据实时采集并发送到数据处理工具logstash中；
15、数据处理模块：使用数据处理工具logstash，对接收到的日志数据进行过滤、转换和丰富操作；
16、数据存储模块：将处理后的日志数据存储到文档型数据库mongodb中；
17、数据加工模块：通过对文档型数据库mongodb中存储的数据进行查询、统计操作，实现对商保可回溯系统数据的加工。
18、优选地，通过回溯码字段来关联整个回溯视频，从mongodb中查询出所有收集到的回溯日志，对查询到的数据按时间进行升序排序、去重、编排，再整合成一条完整的视频文件，从而生成一个可回放的回溯视频文件。
19、优选地，数据过滤包括：数据处理工具logstash通过使用过滤器插件来处理数据，对包含ip地址的日志数据，使用geoip过滤器插件来添加地理位置信息，或使用grok过滤器插件来解析非结构化的日志数据，将其转化为结构化的数据。
20、优选地，数据转换包括：使用json输出插件来将过滤出的数据输出成json格式的数据。
21、优选地，数据丰富包括：使用mutate过滤器插件来添加新的字段，或使用date过滤器插件来修改日期字段的格式。
22、与现有技术相比，本专利技术采用filebeat、logstash、mongodb、nas技术简化商保可回溯系统的数据存储和加工过程，具有以下优点：
23、(1)提高数据采集效率：filebeat轻量级、高性能的特点，能够有效地提高数据采集的效率；
24、(2)强大的数据处理能力：logstash支持多种数据格式，具有强大的数据处理能力，能够满足商保可回溯系统对数据处理的需求；
25、(3)高性能的数据存储：mongodb具有高性能、易扩展、高可用的特点，适用于处理大量的数据，可以有效地提高商保可回溯系统的数据存储能力；
26、(4)简化数据加工过程：通过对mongodb中存储的数据进行查询、统计和分析等操作，可以方便地实现对商保可回溯系统数据的加工需求；
27、(5)降低数据存储成本：通过将采集的数据最终持久化存储至nas中，比起全量存储在数据库中能有效降低数据库的压力，节省数据存储的成本。
本文档来自技高网...【技术保护点】
1.一种针对商保可回溯系统的数据加工存储方法，其特征在于，包括：
2.根据权利要求1所述的针对商保可回溯系统的数据加工存储方法，其特征在于，通过回溯码字段来关联整个回溯视频，从mongodb中查询出所有收集到的回溯日志，对查询到的数据按时间进行升序排序、去重、编排，再整合成一条完整的视频文件，从而生成一个可回放的回溯视频文件。
3.根据权利要求1所述的针对商保可回溯系统的数据加工存储方法，其特征在于，数据过滤包括：数据处理工具logstash通过使用过滤器插件来处理数据，对包含IP地址的日志数据，使用geoip过滤器插件来添加地理位置信息，或使用grok过滤器插件来解析非结构化的日志数据，将其转化为结构化的数据。
4.根据权利要求1所述的针对商保可回溯系统的数据加工存储方法，其特征在于，数据转换包括：使用json输出插件来将过滤出的数据输出成JSON格式的数据。
5.根据权利要求1所述的针对商保可回溯系统的数据加工存储方法，其特征在于，数据丰富包括：使用mutate过滤器插件来添加新的字段，或使用date过滤器插件来修改日期字段的格
6.一种针对商保可回溯系统的数据加工存储系统，其特征在于，包括：
7.根据权利要求6所述的针对商保可回溯系统的数据加工存储系统，其特征在于，通过回溯码字段来关联整个回溯视频，从mongodb中查询出所有收集到的回溯日志，对查询到的数据按时间进行升序排序、去重、编排，再整合成一条完整的视频文件，从而生成一个可回放的回溯视频文件。
8.根据权利要求6所述的针对商保可回溯系统的数据加工存储系统，其特征在于，数据过滤包括：数据处理工具logstash通过使用过滤器插件来处理数据，对包含IP地址的日志数据，使用geoip过滤器插件来添加地理位置信息，或使用grok过滤器插件来解析非结构化的日志数据，将其转化为结构化的数据。
9.根据权利要求6所述的针对商保可回溯系统的数据加工存储系统，其特征在于，数据转换包括：使用json输出插件来将过滤出的数据输出成JSON格式的数据。
10.根据权利要求6所述的针对商保可回溯系统的数据加工存储系统，其特征在于，数据丰富包括：使用mutate过滤器插件来添加新的字段，或使用date过滤器插件来修改日期字段的格式。
...【技术特征摘要】
1.一种针对商保可回溯系统的数据加工存储方法，其特征在于，包括：
2.根据权利要求1所述的针对商保可回溯系统的数据加工存储方法，其特征在于，通过回溯码字段来关联整个回溯视频，从mongodb中查询出所有收集到的回溯日志，对查询到的数据按时间进行升序排序、去重、编排，再整合成一条完整的视频文件，从而生成一个可回放的回溯视频文件。
3.根据权利要求1所述的针对商保可回溯系统的数据加工存储方法，其特征在于，数据过滤包括：数据处理工具logstash通过使用过滤器插件来处理数据，对包含ip地址的日志数据，使用geoip过滤器插件来添加地理位置信息，或使用grok过滤器插件来解析非结构化的日志数据，将其转化为结构化的数据。
4.根据权利要求1所述的针对商保可回溯系统的数据加工存储方法，其特征在于，数据转换包括：使用json输出插件来将过滤出的数据输出成json格式的数据。
5.根据权利要求1所述的针对商保可回溯系统的数据加工存储方法，其特征在于，数据丰富包括：使用mutate过滤器插件来添加新的字段，或使用date过滤器插件来修改日期字段的格式。
...【专利技术属性】
技术研发人员：赵蒙海，陈志涛，
申请(专利权)人：上海金仕达卫宁软件科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。