一种基于音视频识别技术的笔录数据采集方法及装置制造方法及图纸

本申请涉及一种基于音视频识别技术的笔录数据采集方法及装置，涉及笔录信息收录技术领域，该方法包括以下步骤：同步采集录音音频文件、录像视频文件以及笔录文本文件；根据笔录文本文件的关键词，生成对应的笔录关键词文件，对录音音频文件进行语音转录，生成对应的转录文本文件，对录像视频文件进行特征处理，获得对应的视频特征文件；对录音音频文件、录像视频文件、笔录文本文件、笔录关键词文件、转录文本文件以及视频特征文件进行关联并存储。本申请同步进行录音音频文件、录像视频文件以及笔录文本文件的收录工作，对数据进行结构化处理，提升了笔录信息收录工作的准确性。提升了笔录信息收录工作的准确性。提升了笔录信息收录工作的准确性。

【技术实现步骤摘要】
一种基于音视频识别技术的笔录数据采集方法及装置


[0001]本申请涉及笔录信息收录
，具体涉及一种基于音视频识别技术的笔录数据采集方法及装置。

技术介绍

[0002]在司法、教育、企业员工问询、纪律管理场景，尤其是在具有问询笔录同步录像录音的场景下借助人工智能对音视频识别，需要保证笔录信息收录的准确性。
[0003]全程同步录音录像时，录音与录像是否保持同步一致，笔录内容与录音录像内容是否保持一致，笔录的录音录像时长在制作时间上是否具有一致性，均是影响智能化笔录信息收录工作准确性的关键因素。
[0004]故而，为提高笔录信息收录的准确性，现提供一种基于音视频识别技术的笔录数据采集核查技术。

技术实现思路

[0005]本申请提供一种基于音视频识别技术的笔录数据采集方法及装置，同步进行录音音频文件、录像视频文件以及笔录文本文件的收录工作，对数据进行结构化处理，提升了笔录信息收录工作的准确性。
[0006]第一方面，本申请提供了一种基于音视频识别技术的笔录数据采集方法，所述方法包括以下步骤：
[0007]同步采集录音音频文件、录像视频文件以及笔录文本文件；
[0008]根据所述笔录文本文件的关键词，生成对应的笔录关键词文件，对所述录音音频文件进行语音转录，生成对应的转录文本文件，对所述录像视频文件进行特征处理，获得对应的视频特征文件；
[0009]对所述录音音频文件、所述录像视频文件、所述笔录文本文件、笔录关键词文件、转录文本文件以及视频特征文件进行关联并存储。
[0010]具体的，所述录音音频文件、所述录像视频文件以及所述笔录文本文件之间存在索引对应关系；
[0011]所述笔录文本文件中包含以询问人和被询问人为对象，按照时间顺序收录的笔录文本信息；
[0012]所述笔录文本文件中包括多个事件项目标记，各所述事件项目标记分别对应在录音或录像过程中的事件项目。
[0013]具体的，所述事件项目为开始录制、结束录制、暂停录制、解码故障、网络中断、存储空间已满以及时延过大。
[0014]具体的，各所述笔录文本文件配有对应的音视频索引，各所述录像视频文件配有根据对应的所述笔录文本文件生成的笔录字幕信息。
[0015]进一步的，对所述录音音频文件、所述录像视频文件、所述笔录文本文件、笔录关
键词文件、转录文本文件以及视频特征文件进行关联并存储时，所述方法还包括以下步骤：
[0016]分别对所述录音音频文件、所述录像视频文件、所述笔录文本文件、笔录关键词文件、转录文本文件以及视频特征文件生成信息摘要，并根据时间建立信息摘要链。
[0017]进一步的，在获得笔录关键词文件、转录文本文件以及视频特征文件之前，还包括文件预处理流程，所述文件预处理流程包括以下步骤：
[0018]对所述笔录文本文件进行信息结构化梳理；
[0019]对所述录音音频文件按照对话间隔进行分段处理，获得各录音音频片段，按照时间序列以及声源类别进行对话排序，分离人声和非人声，并标注时间索引；
[0020]根据各录音音频片段，对所述录像视频文件进行分割，获得各录像视频段，并对于没有声音的片段重点标记。
[0021]进一步的，所述文件预处理流程还包括以下步骤
[0022]计算进行信息结构化梳理后的所述笔录文本文件在所述录音音频文件、所述录像视频文件以及所述笔录文本文件中的信息量占比。
[0023]优选的，在根据所述笔录文本文件的关键词，生成对应的笔录关键词文件，对所述录音音频文件进行语音转录，生成对应的转录文本文件，对所述录像视频文件进行特征处理，获得对应的视频特征文件时，采用并行处理方式。
[0024]具体的，所述根据所述笔录文本文件的关键词，生成对应的笔录关键词文件，对所述录音音频文件进行语音转录，生成对应的转录文本文件，对所述录像视频文件进行特征处理，获得对应的视频特征文件，具体包括以下步骤：
[0025]对笔录文本文件进行片段特征提取，获得对应的关键词，进而生成对应的笔录关键词文件；
[0026]对所述录音音频文件根据音频底层特征以及音频来源进行分析，并通过语音转录生成转录文本文件；
[0027]针对所述录像视频文件通过视频目标标注和目标跟踪算法，提取视频信息特征，生成视频特征文件。
[0028]第二方面，本申请提供了一种基于音视频识别技术的笔录数据采集装置，所述装置包括：
[0029]数据采集模块，其用于同步采集录音音频文件、录像视频文件以及笔录文本文件；
[0030]数据处理模块，其用于根据所述笔录文本文件的关键词，生成对应的笔录关键词文件，对所述录音音频文件进行语音转录，生成对应的转录文本文件，对所述录像视频文件进行特征处理，获得对应的视频特征文件；
[0031]数据存储模块，其用于对所述录音音频文件、所述录像视频文件、所述笔录文本文件、笔录关键词文件、转录文本文件以及视频特征文件进行关联并存储。
[0032]本申请提供的技术方案带来的有益效果包括：
[0033]本申请同步进行录音音频文件、录像视频文件以及笔录文本文件的收录工作，对三者建立关联性，并对数据进行结构化处理，实现了同步录音录像，录音与录像保持同步一致，笔录内容与录音录像内容保持一致，获取笔录的录音录像时长在制作时间上具有一致性，从而大大提升了笔录信息收录工作的准确性。
附图说明
[0034]为了更清楚地说明本申请实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0035]图1为本申请实施例一提供的基于音视频识别技术的笔录数据采集方法的步骤流程图；
[0036]图2为本申请实施例一提供的基于音视频识别技术的笔录数据采集方法的原理流程图；
[0037]图3为本申请实施例一提供的基于音视频识别技术的笔录数据采集方法的事件项目的传输结构示意图；
[0038]图4为本申请实施例二提供的基于音视频识别技术的笔录数据采集装置的结构框图。
具体实施方式
[0039]为使本申请实施例的目的、技术方案和优点更加清楚，下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本申请的一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本申请保护的范围。
[0040]以下结合附图对本申请的实施例作进一步详细说明。
[0041]本申请实施例提供一种基于音视频识别技术的笔录数据采集方法及装置，同步进行录音音频文件、录像视频文件以及笔录文本文件的收录工作，对三者建立关联性，并对数据进行结构化处理，实现了同步录音录像，录音与录像保本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于音视频识别技术的笔录数据采集方法，其特征在于，包括以下步骤：同步采集录音音频文件、录像视频文件以及笔录文本文件；根据所述笔录文本文件的关键词，生成对应的笔录关键词文件，对所述录音音频文件进行语音转录，生成对应的转录文本文件，对所述录像视频文件进行特征处理，获得对应的视频特征文件；对所述录音音频文件、所述录像视频文件、所述笔录文本文件、笔录关键词文件、转录文本文件以及视频特征文件进行关联并存储。2.如权利要求1所述的基于音视频识别技术的笔录数据采集方法，其特征在于：所述录音音频文件、所述录像视频文件以及所述笔录文本文件之间存在索引对应关系；所述笔录文本文件中包含以询问人和被询问人为对象，按照时间顺序收录的笔录文本信息；所述笔录文本文件中包括多个事件项目标记，各所述事件项目标记分别对应在录音或录像过程中的事件项目。3.如权利要求2所述的基于音视频识别技术的笔录数据采集方法，其特征在于：所述事件项目为开始录制、结束录制、暂停录制、解码故障、网络中断、存储空间已满以及时延过大。4.如权利要求1所述的基于音视频识别技术的笔录数据采集方法，其特征在于：各所述笔录文本文件配有对应的音视频索引，各所述录像视频文件配有根据对应的所述笔录文本文件生成的笔录字幕信息。5.如权利要求1所述的基于音视频识别技术的笔录数据采集方法，其特征在于，对所述录音音频文件、所述录像视频文件、所述笔录文本文件、笔录关键词文件、转录文本文件以及视频特征文件进行关联并存储时，还包括以下步骤：分别对所述录音音频文件、所述录像视频文件、所述笔录文本文件、笔录关键词文件、转录文本文件以及视频特征文件生成信息摘要，并根据时间建立信息摘要链。6.如权利要求1所述的基于音视频识别技术的笔录数据采集方法，其特征在于，在获得笔录关键词文件、转录文本文件以及视频特征文件之前，还包括文件预处理流程，所述文件预处理流程包括以下步骤：对所述笔录文本文件进行信息结构化梳理；对所述录音音频文件按照对话间隔进行分段处理...

【专利技术属性】
技术研发人员：何双江，董喆，秦威，徐凤祥，赵慧娟，谭俊，张亚一，邓乔波，
申请(专利权)人：武汉烽火信息集成技术有限公司，
类型：发明
国别省市：