新违法行为描述词识别方法与装置、电子设备及存储介质制造方法及图纸

本公开提供了新违法行为描述词识别方法与装置、电子设备及存储介质。该方法的一具体实施方式包括：获取近期历史接处警文本集合；对近期历史接处警文本集合中的各近期历史接处警文本进行切词处理得到对应的分词序列，以及用切词处理后得到的各分词序列生成目标分词序列集合；用目标分词序列集合中的目标分词序列中的两相邻分词组成的二元拼接词生成二元拼接词库；对于二元拼接词库中的每个二元拼接词，执行识别操作以确定该二元拼接词是否为新违法行为描述词。该实施方式实现了自动提取近期历史接处警文本集合中的新违法行为描述词。

【技术实现步骤摘要】
新违法行为描述词识别方法与装置、电子设备及存储介质
本公开涉及计算机
，具体涉及新违法行为描述词识别方法与装置、电子设备及存储介质。
技术介绍
目前基本是靠人工提取近期生成的接处警文本中的新违法行为描述词，所需的人力和时间成本较高，新型的违法行为不能被及时发现并处理，对社会造成隐患。另外，由于接处警文本大多采用自然语言描述、表达方式严重口语化且无规则，人工提取难度较高，依赖于人工经验，即人工提取新违法行为描述词的过程中学习成本较高。
技术实现思路
本公开提出了新违法行为描述词识别方法与装置、电子设备及存储介质。第一方面，本公开提供了一种新违法行为描述词识别方法，该方法包括：获取近期历史接处警文本集合，其中，上述近期历史接处警文本集合是最近预设违法行为发现时长内生成的历史接处警文本集合；对上述近期历史接处警文本集合中的各近期历史接处警文本进行切词处理得到对应的分词序列，以及用切词处理后得到的各分词序列生成目标分词序列集合；用上述目标分词序列集合中的目标分词序列中的两相邻分词组成的二元拼接词生成二元拼接词库；对于上述二元拼接词库中的每个二元拼接词，执行以下识别操作：基于上述目标分词序列集合计算该二元拼接词的词频、自由度和凝固度，以及响应于确定该二元拼接词满足预设新词发现条件组中的每个条件，将该二元拼接词确定为新违法行为描述词，其中，上述预设新词发现条件组包括以下至少一个条件：该二元拼接词的词频大于预设词频阈值，该二元拼接词的凝固度大于预设凝固度阈值，该二元拼接词的自由度大于预设自由度阈值。在一些可选的实施方式中，上述对上述近期历史接处警文本集合中的各近期历史接处警文本进行切词处理得到对应的分词序列，包括：基于预设切词词典对上述近期历史接处警文本集合中的各近期历史接处警文本进行切词处理得到对应的分词序列；以及上述方法还包括：将上述二元拼接词库中确定为新违法行为描述词的各二元拼接词添加到上述预设切词词典中。在一些可选的实施方式中，上述预设违法行为发现时长是通过如下时长确定步骤预先确定的：对于预设候选时长集合中的每个候选时长，执行以下识别准确率确定操作：获取最近该候选时长内生成的历史接处警文本集合，以及对应的标注新违法行为描述词集合；对所获取的历史接处警文本集合中的各历史接处警文本进行切词处理得到对应的分词序列，以及用切词处理后得到的各分词序列生成与该候选时长对应的分词序列集合；用与该候选时长对应的分词序列集合中的分词序列中的两相邻分词组成的二元拼接词生成与该候选时长对应的二元拼接词库；对于与该候选时长对应的二元拼接词库中的每个二元拼接词，基于与该候选时长对应的分词序列集合计算该二元拼接词的词频、自由度和凝固度，以及响应于确定该二元拼接词满足上述预设新词发现条件组中的每个条件且该二元拼接词属于上述标注新违法行为描述词集合，或者响应于确定该二元拼接词不满足上述预设新词发现条件组中的至少一个条件且该二元拼接词不属于上述标注新违法行为描述词集合，将该二元拼接词确定为识别正确词；将与该候选时长对应的二元拼接词库中的识别正确词的数目除以与该候选时长对应的二元拼接词库中的二元拼接词的数目的比值确定为与该候选时长对应的识别准确率；将上述预设候选时长集合中对应的识别准确率最高的候选时长确定为上述预设违法行为发现时长。在一些可选的实施方式中，上述对于上述二元拼接词库中的每个二元拼接词，基于上述目标分词序列集合计算该二元拼接词的词频、自由度和凝固度，包括：对于上述二元拼接词库X中的每个由分词x1和分词x2拼接而成的二元拼接词x，执行以下计算操作：统计该二元拼接词x在上述目标分词序列集合中的词频P(x)，分词x1在上述目标分词序列集合中的词频P(x1)以及分词x2在上述目标分词序列集合中的词频P(x2)；按照如下公式计算该二元拼接词x的凝固度Agglomeration(x)：用上述目标分词序列集合的各分词序列中位于该二元拼接词x之前且与该二元拼接词x相邻的各个分词生成与该二元拼接词x对应的前序相邻词集合Prex；统计上述前序相邻词集合Prex中每个词y在上述目标分词序列集合中的词频P(y)；用上述目标分词序列集合的各分词序列中位于该二元拼接词x之后且与该二元拼接词x相邻的各个分词生成与该二元拼接词x对应的后序相邻词集合Postx；统计上述后序相邻词集合Postx中每个词z在上述目标分词序列集合中的词频P(z)；按照如下公式计算该二元拼接词x的自由度Free(x)：Free(x)＝min(H(Prex),H(Postx))第二方面，本公开提供了一种新违法行为描述词识别装置，该装置包括：获取单元，被配置成获取近期历史接处警文本集合，其中，上述近期历史接处警文本集合是最近预设违法行为发现时长内生成的历史接处警文本集合；第一生成单元，被配置成对上述近期历史接处警文本集合中的各近期历史接处警文本进行切词处理得到对应的分词序列，以及用切词处理后得到的各分词序列生成目标分词序列集合；第二生成单元，被配置成用上述目标分词序列集合中的目标分词序列中的两相邻分词组成的二元拼接词生成二元拼接词库；识别单元，被配置成对于上述二元拼接词库中的每个二元拼接词，执行以下识别操作：基于上述目标分词序列集合计算该二元拼接词的词频、自由度和凝固度，以及响应于确定该二元拼接词满足预设新词发现条件组中的每个条件，将该二元拼接词确定为新违法行为描述词，其中，上述预设新词发现条件组包括以下至少一个条件：该二元拼接词的词频大于预设词频阈值，该二元拼接词的凝固度大于预设凝固度阈值，该二元拼接词的自由度大于预设自由度阈值。在一些可选的实施方式中，上述对上述近期历史接处警文本集合中的各近期历史接处警文本进行切词处理得到对应的分词序列，包括：基于预设切词词典对上述近期历史接处警文本集合中的各近期历史接处警文本进行切词处理得到对应的分词序列；以及上述装置还包括：添加单元，被配置成将上述二元拼接词库中确定为新违法行为描述词的各二元拼接词添加到上述预设切词词典中。在一些可选的实施方式中，上述预设违法行为发现时长是通过如下时长确定步骤预先确定的：对于预设候选时长集合中的每个候选时长，执行以下识别准确率确定操作：获取最近该候选时长内生成的历史接处警文本集合，以及对应的标注新违法行为描述词集合；对所获取的历史接处警文本集合中的各历史接处警文本进行切词处理得到对应的分词序列，以及用切词处理后得到的各分词序列生成与该候选时长对应的分词序列集合；用与该候选时长对应的分词序列集合中的分词序列中的两相邻分词组成的二元拼接词生成与该候选时长对应的二元拼接词库；对于与该候选时长对应的二元拼接词库中的每个二元拼接词，基于与该候选时长对应的分词序列集合计算该二元拼接词的词频、自由度和凝固度，以及响应于确定该二元拼接词满足上述预设新词发现条件组中的每个条件且该二元拼接词属于上述标注新违法行为描述词集合，或者响应于确定该二元拼接词不满足上述预设新词发现条件组中的至少一个条件且该二元拼接词不属于上述标注新违法行为描述词集合，将该二元拼接词确本文档来自技高网...

【技术保护点】
1.一种新违法行为描述词识别方法，包括：/n获取近期历史接处警文本集合，其中，所述近期历史接处警文本集合是最近预设违法行为发现时长内生成的历史接处警文本集合；/n对所述近期历史接处警文本集合中的各近期历史接处警文本进行切词处理得到对应的分词序列，以及用切词处理后得到的各分词序列生成目标分词序列集合；/n用所述目标分词序列集合中的目标分词序列中的两相邻分词组成的二元拼接词生成二元拼接词库；/n对于所述二元拼接词库中的每个二元拼接词，执行以下识别操作：基于所述目标分词序列集合计算该二元拼接词的词频、自由度和凝固度，以及响应于确定该二元拼接词满足预设新词发现条件组中的每个条件，将该二元拼接词确定为新违法行为描述词，其中，所述预设新词发现条件组包括以下至少一个条件：该二元拼接词的词频大于预设词频阈值，该二元拼接词的凝固度大于预设凝固度阈值，该二元拼接词的自由度大于预设自由度阈值。/n

【技术特征摘要】
1.一种新违法行为描述词识别方法，包括：
获取近期历史接处警文本集合，其中，所述近期历史接处警文本集合是最近预设违法行为发现时长内生成的历史接处警文本集合；
对所述近期历史接处警文本集合中的各近期历史接处警文本进行切词处理得到对应的分词序列，以及用切词处理后得到的各分词序列生成目标分词序列集合；
用所述目标分词序列集合中的目标分词序列中的两相邻分词组成的二元拼接词生成二元拼接词库；
对于所述二元拼接词库中的每个二元拼接词，执行以下识别操作：基于所述目标分词序列集合计算该二元拼接词的词频、自由度和凝固度，以及响应于确定该二元拼接词满足预设新词发现条件组中的每个条件，将该二元拼接词确定为新违法行为描述词，其中，所述预设新词发现条件组包括以下至少一个条件：该二元拼接词的词频大于预设词频阈值，该二元拼接词的凝固度大于预设凝固度阈值，该二元拼接词的自由度大于预设自由度阈值。


2.根据权利要求1所述的方法，其中，所述对所述近期历史接处警文本集合中的各近期历史接处警文本进行切词处理得到对应的分词序列，包括：
基于预设切词词典对所述近期历史接处警文本集合中的各近期历史接处警文本进行切词处理得到对应的分词序列；以及
所述方法还包括：
将所述二元拼接词库中确定为新违法行为描述词的各二元拼接词添加到所述预设切词词典中。


3.根据权利要求1或2所述的方法，其中，所述预设违法行为发现时长是通过如下时长确定步骤预先确定的：
对于预设候选时长集合中的每个候选时长，执行以下识别准确率确定操作：获取最近该候选时长内生成的历史接处警文本集合，以及对应的标注新违法行为描述词集合；对所获取的历史接处警文本集合中的各历史接处警文本进行切词处理得到对应的分词序列，以及用切词处理后得到的各分词序列生成与该候选时长对应的分词序列集合；用与该候选时长对应的分词序列集合中的分词序列中的两相邻分词组成的二元拼接词生成与该候选时长对应的二元拼接词库；对于与该候选时长对应的二元拼接词库中的每个二元拼接词，基于与该候选时长对应的分词序列集合计算该二元拼接词的词频、自由度和凝固度，以及响应于确定该二元拼接词满足所述预设新词发现条件组中的每个条件且该二元拼接词属于所述标注新违法行为描述词集合，或者响应于确定该二元拼接词不满足所述预设新词发现条件组中的至少一个条件且该二元拼接词不属于所述标注新违法行为描述词集合，将该二元拼接词确定为识别正确词；将与该候选时长对应的二元拼接词库中的识别正确词的数目除以与该候选时长对应的二元拼接词库中的二元拼接词的数目的比值确定为与该候选时长对应的识别准确率；
将所述预设候选时长集合中对应的识别准确率最高的候选时长确定为所述预设违法行为发现时长。


4.根据权利要求3所述的方法，其中，所述对于所述二元拼接词库中的每个二元拼接词，基于所述目标分词序列集合计算该二元拼接词的词频、自由度和凝固度，包括：
对于所述二元拼接词库X中的每个由分词x1和分词x2拼接而成的二元拼接词x，执行以下计算操作：
统计该二元拼接词x在所述目标分词序列集合中的词频P(x)，分词x1在所述目标分词序列集合中的词频P(x1)以及分词x2在所述目标分词序列集合中的词频P(x2)；
按照如下公式计算该二元拼接词x的凝固度Agglomeration(x)：



用所述目标分词序列集合的各分词序列中位于该二元拼接词x之前且与该二元拼接词x相邻的各个分词生成与该二元拼接词x对应的前序相邻词集合Prex；
统计所述前序相邻词集合Prex中每个词y在所述目标分词序列集合中的词频P(y)；
用所述目标分词序列集合的各分词序列中位于该二元拼接词x之后且与该二元拼接词x相邻的各个分词生成与该二元拼接词x对应的后序相邻词集合Postx；
统计所述后序相邻词集合Postx中每个词z在所述目标分词序列集合中的词频P(z)；
按照如下公式计算该二元拼接词x的自由度Free(x)：






Free(x)＝min(H(Prex),H(Postx))


5.一种新违法行为描述词识别装置，包括：
获取单元，被配置成获取近期历史接处警文本集合，其中，所述近期历史接处警文本集合是最近预设违法行为发现时长内生成的历史接处警文本集合；
第一生成单元，被配置成对所述近期历史...

【专利技术属性】
技术研发人员：彭涛，赵伟，高丽青，
申请(专利权)人：北京明亿科技有限公司，
类型：发明
国别省市：北京;11