一种诈骗信息码谱分析系统技术方案

本发明专利技术公开了一种诈骗信息码谱分析系统，包括数据源，用于提供原始日志数据；数据加载模块，和数据源相连，用于获取和预处理原始日志数据；数据存储模块，用于存储原始日志数据和预处理后的中间结果数据；综合分析模块，和数据存储模块相连，用于对原始日志数据进行多维度综合分析，在综合分析模块内设有分布式计算模块；应用模块，和数据存储模块相连，用于对分析结果进行展示。本发明专利技术运用大数据分析的手段从海量的电信网通话详细日志、反诈系统基础数据、电路域日志、短信、彩信和互联网日志等多维度的行为数据中挖掘分析，深度剖析诈骗份子的行为特点和诈骗场景，分析受害人群，为通讯信息诈骗综合防范提供技术和数据支撑。

【技术实现步骤摘要】
一种诈骗信息码谱分析系统
本专利技术属于防诈骗系统
，具体而言，尤其涉及一种诈骗信息码谱分析系统。
技术介绍
反诈工作是与诈骗分子不断对抗的一个过程，基于诈骗手段层出不穷及诈骗通讯载体多样的现状，仅通过电信网通话记录去发现和防范诈骗，不能完全覆盖诈骗场景，且对诈骗主叫的定义以及对诈骗事件的还原缺乏说服力和准确性。通讯信息诈骗综合防范需要解决的关键问题是对各种维度的数据进行综合分析，从更大的范围发现诈骗群体和受害人，并结合诈骗群体和受害人进行诈骗事件还原、案件关联及黑产信息溯源，为通讯信息诈骗综合防范提供技术和数据支撑。
技术实现思路
本专利技术的目的在于提供一种诈骗信息码谱分析系统，以至少解决现有技术存在不能综合防范通讯信息诈骗的技术问题。为了解决上述问题，本专利技术提供一种诈骗信息码谱分析系统，其技术方案如下：一种诈骗信息码谱分析系统，包括数据源，用于提供原始日志数据；数据加载模块，所述数据加载模块和所述数据源相连，用于获取所述原始日志数据，在所述数据加载模块内设有预处理模块，所述预处理模块用于对所述原始日志数据进行关联分析和实时统计，得到中间结果数据；数据存储模块，所述数据存储模块和所述数据加载模块相连，用于存储所述原始日志数据和所述中间结果数据；综合分析模块，所述综合分析模块和所述数据存储模块相连，在所述综合分析模块内设有分布式计算模块和分析模型模块，所述分布式计算模块和所述分析模型模块相连，所述分析模型模块为所述分布式计算模块提供分析模型，所述分布式计算模块用于诈骗群体识别、诈骗事件还原、受害人分析和诈骗案件分析，得到诈骗团伙信息结果，并将所述诈骗团伙信息结果存储在所述数据存储模块内；应用模块，所述应用模块和所述数据存储模块相连，用于对所述诈骗团伙信息结果进行展示。如上述的诈骗信息码谱分析系统，进一步优选为：在所述数据加载模块内还设有数据订阅模块，所述数据订阅模块用于订阅所述数据源中的原始日志数据。如上述的诈骗信息码谱分析系统，进一步优选为：在所述数据加载模块内还设有数据分析模块，所述数据分析模块用于解析和过滤所述数据源中的原始日志数据。如上述的诈骗信息码谱分析系统，进一步优选为：所述预处理模块包括数据关联模块，所述数据关联模块用于对所述原始日志数据进行号段属地、IP属地、敏感号码的关联分析。如上述的诈骗信息码谱分析系统，进一步优选为：所述预处理模块还包括数据预统计模块，所述数据预统计模块用于对所述原始日志数据进行关键维度粗粒度的统计。如上述的诈骗信息码谱分析系统，进一步优选为：在所述综合分析模块内还设有关联分析模块，所述关联分析模块和所述数据存储模块相连。如上述的诈骗信息码谱分析系统，进一步优选为：在所述数据存储模块内设有分布式文件系统，所述分布式文件系统和所述数据加载模块相连、所述分布式计算模块相连。如上述的诈骗信息码谱分析系统，进一步优选为：在所述数据存储模块内还设有关系数据库，所述关系数据库和所述分布式计算模块、所述分析模型模块、所述数据加载模块相连。如上述的诈骗信息码谱分析系统，进一步优选为：在所述综合分析模块内还设有数据检索模块，所述数据检索模块和所述分布式计算模块、所述数据存储模块相连，所述数据检索模块用于对诈骗群体的多维关联检索和查询。如上述的诈骗信息码谱分析系统，进一步优选为：所述应用模块包括诈骗群体管理模块、诈骗事件管理模块、受害人管理模块、案件管理模块、黑产管理模块和号码关联分析模块。本专利技术的数据源具有多样性，为了利于扩展和支持不同方式的数据源，在数据加载模块可根据不同接口进行获取、解析、预处理与持久化操作，数据加载并预处理之后可将原始日志数据和中间结果数据存储至分布式文件系统及关系数据库中并建立索引，便于后续综合分析模块对海量数据进行多维关联检索和查询分析，利用SPARK/MR分布式计算框架对各功能的算法提供算力，可横向扩展提高计算能力。本专利技术进行多维数据综合分析时，在技术选型上采用分布式计算、分布式文件存储、全文索引、RestFulAPI等关键技术进行分析。附图说明图1为本专利技术的诈骗信息码谱分析系统的系统架构示意图；图2为本专利技术的诈骗信息码谱分析系统的系统定位示意图。具体实施方式下面将结合本专利技术实施例中的附图，对本专利技术实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本专利技术一部分实施例，而不是全部的实施例。基于本专利技术中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本专利技术保护的范围。如图1所示，本专利技术的一种诈骗信息码谱分析系统，主要包括数据源，用于提供原始日志数据；数据加载模块，和数据源相连，用于获取原始日志数据，在数据加载模块内设有预处理模块，预处理模块用于对原始日志数据进行关联分析和实时统计，得到中间结果数据；数据存储模块，和数据加载模块相连，用于存储原始日志数据和中间结果数据；综合分析模块，和数据存储模块相连，在综合分析模块内设有分布式计算模块和分析模型模块，分布式计算模块和分析模型模块相连，分析模型模块为分布式计算模块提供分析模型，分布式计算模块用于诈骗群体识别、受害人分析、诈骗案件分析和诈骗事件还原，得到诈骗团伙信息结果，并将诈骗团伙信息结果存储在数据存储模块内；应用模块，应用模块和数据存储模块相连，用于对诈骗团伙信息结果进行展示。优选地，本专利技术中，分布式计算模块还用于诈骗群体分析、诈骗场景分析、诈骗预判分析和黑产溯源分析。如图2所示，本专利技术中，数据源主要包括反诈系统、移动互联网系统、短彩信系统及基于行为特征及场景的诈骗分析系统。如图1所示，优选地，原始日志数据主要包括电信网通话详细日志、反诈系统基础数据、电路域日志、短信、彩信和互联网日志。总而言之，本专利技术创新性的提供一种诈骗信息码谱分析系统，实现团伙分析、疑似上当人分析及诈骗主叫的预判功能，通过对线上数据进行的大量分析、模型调整及效果验证，能发现团伙作案的成员、团伙在实施诈骗时所属的角色以及团伙的分布情况等。如图1所示，本专利技术在数据加载模块中还设有数据订阅模块，优选地，数据订阅模块用于订阅数据源中的原始日志数据，便于实时加载数据。如图1所示，本专利技术在数据加载模块中还设有数据分析模块，优选地，数据分析模块用于解析和过滤数据源中的原始日志数据。如图1所示，本专利技术中，预处理模块包括数据关联模块，优选地，数据关联模块用于对原始日志数据进行号段属地、IP属地、敏感号码的关联分析，数据加载模块从外部获取的原始日志数据可能不满足本专利技术的分析需求，比如号码的属地、IP的属地信息等都通过预处理模块对属地信息进行关联分析，为后续的统计、查询提供完整的结果。如图1所示，本专利技术中，预处理模块还包括数据预统计模块，优选地，数据预统计模块用于对原始日志数据进行关键维度粗粒度的统计(如每10分钟统计每个来源地号码在每个被叫地的通话次数等)，从而缩小后续综合分析模块进行统计分析的数据量级，也能较为实时的为业务用户提供相关统计结果。如图1所示，本专利技术在综合分析模块内还设有关联分析模块，优选地，关联分析模块和数据存储模块相连，关联分析模块用于进行多维度数据关联分析。优选地，本专利技术在数据存储模块内设有分布式文件系统，分布式文件系统和数据加载模块相连、分布式计算模块相连，分布式文件系统用于本文档来自技高网...

【技术保护点】
一种诈骗信息码谱分析系统，其特征在于，包括：数据源，用于提供原始日志数据；数据加载模块，所述数据加载模块和所述数据源相连，用于获取所述原始日志数据，在所述数据加载模块内设有预处理模块，所述预处理模块用于对所述原始日志数据进行关联分析和实时统计，得到中间结果数据；数据存储模块，所述数据存储模块和所述数据加载模块相连，用于存储所述原始日志数据和所述中间结果数据；综合分析模块，所述综合分析模块和所述数据存储模块相连，在所述综合分析模块内设有分布式计算模块和分析模型模块，所述分布式计算模块和所述分析模型模块相连，所述分析模型模块为所述分布式计算模块提供分析模型，所述分布式计算模块用于诈骗群体识别分析、诈骗事件还原分析、受害人分析和诈骗案件分析，得到诈骗团伙信息结果，并将所述诈骗团伙信息结果存储在所述数据存储模块内；应用模块，所述应用模块和所述数据存储模块相连，用于对所述诈骗团伙信息结果进行展示。

【技术特征摘要】
1.一种诈骗信息码谱分析系统，其特征在于，包括：数据源，用于提供原始日志数据；数据加载模块，所述数据加载模块和所述数据源相连，用于获取所述原始日志数据，在所述数据加载模块内设有预处理模块，所述预处理模块用于对所述原始日志数据进行关联分析和实时统计，得到中间结果数据；数据存储模块，所述数据存储模块和所述数据加载模块相连，用于存储所述原始日志数据和所述中间结果数据；综合分析模块，所述综合分析模块和所述数据存储模块相连，在所述综合分析模块内设有分布式计算模块和分析模型模块，所述分布式计算模块和所述分析模型模块相连，所述分析模型模块为所述分布式计算模块提供分析模型，所述分布式计算模块用于诈骗群体识别分析、诈骗事件还原分析、受害人分析和诈骗案件分析，得到诈骗团伙信息结果，并将所述诈骗团伙信息结果存储在所述数据存储模块内；应用模块，所述应用模块和所述数据存储模块相连，用于对所述诈骗团伙信息结果进行展示。2.根据权利要求1所述的诈骗信息码谱分析系统，其特征在于：在所述数据加载模块中还设有数据订阅模块，所述数据订阅模块用于订阅所述数据源中的原始日志数据。3.根据权利要求1或2所述的诈骗信息码谱分析系统，其特征在于：在所述数据加载模块中还设有数据分析模块，所述数据分析模块用于解析和过滤所述数据源中的原始日志数据。4.根据权利要求1或2所述的诈骗信息码谱分析系...

【专利技术属性】
技术研发人员：夏光升，郝振江，蒋维，李小标，柴军民，刘志会，李新，
申请(专利权)人：天津市国瑞数码安全系统股份有限公司，
类型：发明
国别省市：天津,12