一种数据脱敏系统和方法技术方案

本申请实施例公开了一种数据脱敏系统和方法，该系统包括：设置于公有云内的数据转发服务器、监测器、脱敏云主机、公有云数据缓冲区和已脱敏数据缓存区；数据转发服务器设置为对车辆数据进行转发；监测器设置为检测用于读取转发数据的会话数量是否在预设的会话量区间内；当会话数量在会话量区间内时，将车辆数据缓存至公有云数据缓冲区内；脱敏云主机设置为对公有云数据缓冲区内的车辆数据进行脱敏和脱密处理，并将已成功脱敏和脱密的车辆数据保存至已脱敏数据缓存区。通过该实施例方案，通过使用公有云丰富的算力资源，实现了车辆流水线的数据脱敏处理，节约了人力投入，减少了车辆数据从产生到可用的时间周期。辆数据从产生到可用的时间周期。辆数据从产生到可用的时间周期。

【技术实现步骤摘要】
一种数据脱敏系统和方法


[0001]本申请实施例涉及车辆数据处理技术，尤指一种数据脱敏系统和方法。

技术介绍

[0002]现有对量产车的数据脱敏，主要将视频、图片等数据传输至合规机房(基于私有云)后，投入大量人力和物力对视频数据进行抽帧、过滤分析后进行脱敏，该方式存在以下问题：
[0003]1)基于人工进行脱敏处理的方案，如果一辆车每日产生1G数据，10000辆量产车产生10T数据，每人日均处理1T数据，则预计需要投入10人；
[0004]2)由于是人工投入，从脱敏到数据的导出、存储，再到数据最终可用存在一定滞后性，一般需要半天到一天的时间。

技术实现思路

[0005]本申请实施例提供了一种数据脱敏系统和方法，能够使用公有云丰富的算力资源，实现车辆流水线的数据脱敏处理，节约人力投入，减少车辆数据从产生到可用的时间周期。
[0006]本申请实施例提供了一种数据脱敏系统，可以包括：设置于公有云内的数据转发服务器、监测器、脱敏云主机、公有云数据缓冲区和已脱敏数据缓存区；
[0007]所述数据转发服务器，可以设置为对车辆数据进行转发；
[0008]所述监测器，可以设置为检测用于读取转发数据的会话数量是否在预设的会话量区间内；当所述会话数量在所述会话量区间内时，将所述车辆数据缓存至所述公有云数据缓冲区内；
[0009]所述脱敏云主机，可以设置为对所述公有云数据缓冲区内的车辆数据进行脱敏和脱密处理，并将已成功脱敏和脱密的车辆数据保存至所述已脱敏数据缓存区。
[0010]在本申请的示例性实施例中，所述的数据脱敏系统还可以包括：设置于私有云内的未脱敏数据存储区；所述监测器还可以设置为：
[0011]当所述会话数量大于所述会话量区间内的最大值时，将所述车辆数据缓存至所述未脱敏数据存储区内；
[0012]当所述会话数量小于所述会话量区间内的最小值时，对所述脱敏云主机的数量进行调整。
[0013]在本申请的示例性实施例中，所述脱敏云主机，还可以设置为将未成功脱敏和脱密的车辆数据保存至所述未脱敏数据存储区。
[0014]在本申请的示例性实施例中，所述监测器还可以设置为：
[0015]在将所述车辆数据缓存至所述公有云数据缓冲区内以后，通知空闲的脱敏云主机对所述车辆数据进行脱敏和脱密处理；
[0016]当无空闲的脱敏云主机，并且所述公有云数据缓冲区的存储量达到预设存储量阈
值时，通知下行的数据转发服务器对超过所述预设存储量阈值的车辆数据进行处理。
[0017]在本申请的示例性实施例中，所述私有云内还设置有已脱敏数据存储区；
[0018]所述已脱敏数据缓存区，设置为将缓存的车辆数据传输至本地机房内设置的所述已脱敏数据存储区。
[0019]在本申请的示例性实施例中，所述私有云内还设置有人工脱敏脱密区和作业区；
[0020]所述未脱敏数据存储区，设置为将所述未脱敏数据存储区内存储的车辆数据传输至所述人工脱敏脱密区进行人工脱敏和脱密处理；
[0021]所述已脱敏数据存储区，设置为将所述已脱敏数据存储区内存储的车辆数据传输至所述作业区进行作业处理。
[0022]在本申请的示例性实施例中，所述的数据脱敏系统还可以包括：接入专线通道；
[0023]所述接入专线通道，设置为将所述已脱敏数据缓存区缓存的车辆数据直接传输至所述已脱敏数据存储区。
[0024]在本申请的示例性实施例中，所述监测器还设置为对所述数据转发服务器和所述脱敏云主机进行监测和控制。
[0025]在本申请的示例性实施例中，所述车辆数据可以包括以下任意一种或多种：视频数据、图片数据、语音数据、雷达数据以及导航数据。
[0026]本申请实施例还提供了一种数据脱敏方法，所述方法可以包括：在公有云内执行以下操作：
[0027]对车辆数据进行转发；
[0028]检测读取转发数据的会话数量是否大于或等于预设的会话量阈值；当所述会话数量大于或等于所述会话量阈值时，将所述车辆数据缓存至公有云内预设的公有云数据缓冲区内；当所述会话数量小于所述会话量阈值时，将所述车辆数据缓存至私有云内预设的未脱敏数据存储区内；
[0029]对所述公有云数据缓冲区内的车辆数据进行脱敏和脱密处理，并将已脱敏和脱密的车辆数据保存至公有云内预设的已脱敏数据缓存区内。
[0030]与相关技术相比，本申请实施例的数据脱敏系统可以包括：设置于公有云内的数据转发服务器、监测器、脱敏云主机、公有云数据缓冲区和已脱敏数据缓存区；所述数据转发服务器，可以设置为对车辆数据进行转发；所述监测器，可以设置为检测用于读取转发数据的会话数量是否在预设的会话量区间内；当所述会话数量在所述会话量区间内时，将所述车辆数据缓存至所述公有云数据缓冲区内；所述脱敏云主机，可以设置为对所述公有云数据缓冲区内的车辆数据进行脱敏和脱密处理，并将已成功脱敏和脱密的车辆数据保存至所述已脱敏数据缓存区。通过该实施例方案，通过使用公有云丰富的算力资源，实现了车辆流水线的数据脱敏处理，节约了人力投入，减少了车辆数据从产生到可用的时间周期。
[0031]本申请的其它特征和优点将在随后的说明书中阐述，并且，部分地从说明书中变得显而易见，或者通过实施本申请而了解。本申请的其他优点可通过在说明书以及附图中所描述的方案来实现和获得。
附图说明
[0032]附图用来提供对本申请技术方案的理解，并且构成说明书的一部分，与本申请的
实施例一起用于解释本申请的技术方案，并不构成对本申请技术方案的限制。
[0033]图1为本申请实施例的数据脱敏系统第一示意图；
[0034]图2为本申请实施例的数据脱敏系统第二示意图；
[0035]图3为本申请实施例的已脱敏数据由公有云的已脱敏数据缓存区传输至私有云的已脱敏数据存储区的示意图；
[0036]图4为本申请实施例的未脱敏数据由公有云传输至私有云的未脱敏数据存储区的示意图；
[0037]图5为本申请实施例的数据脱敏方法流程图。
具体实施方式
[0038]本申请描述了多个实施例，但是该描述是示例性的，而不是限制性的，并且对于本领域的普通技术人员来说显而易见的是，在本申请所描述的实施例包含的范围内可以有更多的实施例和实现方案。尽管在附图中示出了许多可能的特征组合，并在具体实施方式中进行了讨论，但是所公开的特征的许多其它组合方式也是可能的。除非特意加以限制的情况以外，任何实施例的任何特征或元件可以与任何其它实施例中的任何其他特征或元件结合使用，或可以替代任何其它实施例中的任何其他特征或元件。
[0039]本申请包括并设想了与本领域普通技术人员已知的特征和元件的组合。本申请已经公开的实施例、特征和元件也可以与任何常规特征或元件组合，以形成由权利要求限定的独特的专利技术方案。任何实施例的任何特征或元件也可以与来自其它专利技术方案的特征或元件组合，以形成另一个由权利要求限定的独特的专利技术方案本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种数据脱敏系统，其特征在于，包括：设置于公有云内的数据转发服务器、监测器、脱敏云主机、公有云数据缓冲区和已脱敏数据缓存区；所述数据转发服务器，设置为对车辆数据进行转发；所述监测器，设置为检测用于读取转发数据的会话数量是否在预设的会话量区间内；当所述会话数量在所述会话量区间内时，将所述车辆数据缓存至所述公有云数据缓冲区内；所述脱敏云主机，设置为对所述公有云数据缓冲区内的车辆数据进行脱敏和脱密处理，并将已成功脱敏和脱密的车辆数据保存至所述已脱敏数据缓存区。2.根据权利要求1所述的数据脱敏系统，其特征在于，还包括：设置于私有云内的未脱敏数据存储区；所述监测器还设置为：当所述会话数量大于所述会话量区间内的最大值时，将所述车辆数据缓存至所述未脱敏数据存储区内；当所述会话数量小于所述会话量区间内的最小值时，对所述脱敏云主机的数量进行调整。3.根据权利要求2所述的数据脱敏系统，其特征在于，所述脱敏云主机，还设置为将未成功脱敏和脱密的车辆数据保存至所述未脱敏数据存储区。4.根据权利要求1所述的数据脱敏系统，其特征在于，所述监测器还设置为：在将所述车辆数据缓存至所述公有云数据缓冲区内以后，通知空闲的脱敏云主机对所述车辆数据进行脱敏和脱密处理；当无空闲的脱敏云主机，并且所述公有云数据缓冲区的存储量达到预设存储量阈值时，通知下行的数据转发服务器对超过所述预设存储量阈值的车辆数据进行处理。5.根据权利要求2所述的数据脱敏系统，其特征在于，所述私有云内还设置有已脱敏数据存储区；所述已脱敏数据缓存区，设置为将缓存的车辆数据传输至...

【专利技术属性】
技术研发人员：谢东，陈勇，周琳琳，林坤达，张世哲，孙海南，
申请(专利权)人：宁波吉利汽车研究开发有限公司，
类型：发明
国别省市：