【技术实现步骤摘要】
本专利技术涉及事件处理，具体而言，尤其涉及一种基于ai智能去重分析研判事件的方法及装置。
技术介绍
1、相关技术中，在大规模事件处理和数据分析过程中，经常会遇到多个重复的事件数据，这可能导致信息冗余和资源浪费。现有的自动化去重方法存在一些限制，如准确性和效率方面的不足。
2、数据处理复杂性：现有技术在处理物联网事件数据的重复内容时，面临着大规模数据的处理问题。由于数据量庞大且复杂，现有方法可能无法高效地提取和分析事件数据中的重复内容。
3、准确性和精度不高：现有技术在重复内容分析与建模过程中，存在准确性和精度方面的问题。一些方法可能存在误判或漏判的情况，导致重复内容无法准确地识别和建模。
4、处理效率低下：由于现有技术缺乏高效的算法和处理策略，处理物联网事件数据的重复内容可能耗时较长，导致响应时间延迟，限制了实时性和效率。
5、缺乏自动化能力：现有技术在重复内容分析与建模中，往往需要依赖人工干预和手动操作，导致过程复杂且容易出现人为错误，同时也增加了人力成本和时间成本。
6、针对相关技术中存在的上述问题，目前尚未提出有效的解决方案。
技术实现思路
1、本申请的主要目的在于提供一种基于ai智能去重分析研判事件的方法及装置，以至少解决相关技术中大规模数据处理中缺乏自动化处理的问题。
2、为了实现上述目的，根据本申请的一个方面，提供了一种基于ai智能去重分析研判事件的方法。该方法包括：获取初始事件数据集，初始事件数据
3、可选地，删除初始文字数据中的无效字符，纠正初始文字数据中的错误文字以及错误拼写；统一初始文字数据的格式，得到统一文字数据；将统一文字数据分割成短句，短句小于预设字数；对短句中的词汇进行词性标注以及命名分类，得到标注词汇；提取标注词汇中的关键词；对关键词进行向量化处理得到文字向量。
4、可选地，依据预设词性规则标注词汇的词性；依据词性统计库中词汇的词性出现频率标注词汇的词性。
5、可选地，依据预设命名规则对词汇进行命名分类；依据命名统计库中词汇的分类出现频率对词汇进行分类。
6、可选地，通过卷积神经网络对初始图片数据进行特征提取得到图片特征；对图片特征进行向量化处理得到图片向量。
7、可选地，预设相似度阈值；依据特征向量获取相似度得分；依据去重处理规则处理重复事件得到结果事件数据，其中，当相似度得分高于相似度阈值时，初始事件数据为重复事件，去重处理规则为删除或合并。
8、可选地，将特征向量集映射到低维空间，得到低维空间向量集，其中，低维空间向量集中包括至少两个哈希签名，哈希签名为降维后的特征向量；对同一特征向量获取多次哈希签名，得到哈希签名集，将哈希签名集转化为哈希向量；计算两个不同的哈希向量中相等值的比例就得到了相似度得分。
9、根据本申请的另一方面，提供了一种基于ai智能去重分析研判事件的装置。该装置包括：获取单元，用于获取初始事件数据集，初始事件数据集至少包括一条初始事件数据，初始事件数据集只包括一种初始事件数据，其中，初始事件数据为初始文字数据和初始图片数据中的之一； 分析单元，用于分析初始事件数据，得到特征向量，其中，特征向量为文字向量和图片向量中的之一；去重单元，用于对特征向量集去重，得到结果事件数据，其中，特征向量集为特征向量的集合；展示单元，用于分析结果事件数据，得到结果特征以及结果关键信息，将结果关键信息以图表形式展示，其中，结果特征包括结果事件数据的特征、结果事件数据的分布以及结果事件数据的异常情况。
10、为了实现上述目的，根据本申请的另一方面，提供了一种计算机可读存储介质，该计算机可读存储介质包括存储的程序，其中，该程序执行上述任意一项的一种基于ai智能去重分析研判事件的方法。
11、根据本申请的另一方面，提供了一种电子设备，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，一个或多个程序被存储在存储器中，并且被配置为由一个或多个处理器执行，一个或多个程序包括用于执行任意一项的一种基于ai智能去重分析研判事件的方法。
12、通过本申请，采用以下步骤：获取初始事件数据集，初始事件数据集至少包括一条初始事件数据，初始事件数据集只包括一种初始事件数据，其中，初始事件数据为初始文字数据和初始图片数据中的之一； 分析初始事件数据，得到特征向量，其中，特征向量为文字向量和图片向量中的之一；对特征向量集去重，得到结果事件数据，其中，特征向量集为特征向量的集合；分析结果事件数据，得到结果特征以及结果关键信息，将结果关键信息以图表形式展示，其中，结果特征包括结果事件数据的特征、结果事件数据的分布以及结果事件数据的异常情况。解决了相关技术中大规模数据处理中缺乏自动化处理的问题，进而达到了在大规模数据处理中提高处理效率、准确性和精度，减少人工干预，为后续分析和决策提供可靠的重复内容分析与建模基础的效果。
本文档来自技高网...【技术保护点】
1.一种基于AI智能去重分析研判事件的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，分析所述初始事件数据，得到特征向量，包括：
3.根据权利要求2所述的方法，其特征在于，对所述短句中的词汇进行词性标注以及命名分类，得到标注词汇，包括：
4.根据权利要求2所述的方法，其特征在于，对所述短句中的词汇进行词性标注以及命名分类，得到标注词汇，包括：
5.根据权利要求1所述的方法，其特征在于，分析所述初始事件数据，得到特征向量，包括：
6.根据权利要求1所述的方法，其特征在于，对特征向量集去重，得到结果事件数据，包括：
7.根据权利要求5所述的方法，其特征在于，依据所述特征向量获取相似度得分，包括：
8.一种基于AI智能去重分析研判事件的装置，其特征在于，包括：
9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质包括存储的程序，其中，在所述程序运行时控制所述计算机可读存储介质所在设备执行权利要求1至7中任意一项所述的一种基于AI智能去重分析研判事件的方法。>
10.一种电子设备，其特征在于，包括：一个或多个处理器，存储器，以及一个或多个程序，其中，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述一个或多个处理器执行，所述一个或多个程序包括用于执行权利要求1至7中任意一项所述的一种基于AI智能去重分析研判事件的方法。
...【技术特征摘要】
1.一种基于ai智能去重分析研判事件的方法，其特征在于，包括：
2.根据权利要求1所述的方法，其特征在于，分析所述初始事件数据，得到特征向量，包括：
3.根据权利要求2所述的方法，其特征在于，对所述短句中的词汇进行词性标注以及命名分类，得到标注词汇，包括：
4.根据权利要求2所述的方法，其特征在于，对所述短句中的词汇进行词性标注以及命名分类，得到标注词汇，包括：
5.根据权利要求1所述的方法，其特征在于，分析所述初始事件数据，得到特征向量，包括：
6.根据权利要求1所述的方法，其特征在于，对特征向量集去重，得到结果事件数据，包括：
7.根据权利要求5所述的方...
【专利技术属性】
技术研发人员：王阳，邢岩，何静静，
申请(专利权)人：智广海联天津大数据技术有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。