一种基于音视频识别技术的笔录数据采集核查方法及装置制造方法及图纸

本申请涉及一种基于音视频识别技术的笔录数据采集核查方法及装置，涉及笔录信息收录技术领域，该方法包括数据采集流程以及数据比对流程，数据采集流程包括：采集录音音频文件、录像视频文件以及笔录文本文件；生成笔录关键词文件、转录文本文件以及视频特征文件；对录音音频文件、录像视频文件、笔录文本文件、笔录关键词文件、转录文本文件以及视频特征文件进行关联并存储至审查服务器；数据比对流程包括：完整性审查；一致性审查；敏感信息审查。本申请同步进行录音音频文件、录像视频文件以及笔录文本文件的收录工作，对数据进行结构化处理，并对录音音频文件、录像视频文件以及笔录文本文件进行核查，提升了笔录信息收录工作的准确性。准确性。准确性。

【技术实现步骤摘要】
一种基于音视频识别技术的笔录数据采集核查方法及装置


[0001]本申请涉及笔录信息收录
，具体涉及一种基于音视频识别技术的笔录数据采集核查方法及装置。

技术介绍

[0002]在司法、教育、企业员工问询、纪律管理场景，尤其是在具有问询笔录同步录像录音的场景下借助人工智能对音视频识别，需要保证笔录信息收录的准确性。
[0003]全程同步录音录像时，录音与录像是否保持同步一致，笔录内容与录音录像内容是否保持一致，笔录的录音录像时长在制作时间上是否具有一致性，均是影响智能化笔录信息收录工作准确性的关键因素。
[0004]故而，为提高笔录信息收录的准确性，现提供一种基于音视频识别技术的笔录数据采集核查技术。

技术实现思路

[0005]本申请提供一种基于音视频识别技术的笔录数据采集核查方法及装置，同步进行录音音频文件、录像视频文件以及笔录文本文件的收录工作，对数据进行结构化处理，并对录音音频文件、录像视频文件以及笔录文本文件进行核查，提升了笔录信息收录工作的准确性。
[0006]第一方面，本申请提供了一种基于音视频识别技术的笔录数据采集核查方法，所述方法包括数据采集流程以及数据比对流程；
[0007]所述数据采集流程包括以下步骤：
[0008]同步采集录音音频文件、录像视频文件以及笔录文本文件；
[0009]根据所述笔录文本文件的关键词，生成对应的笔录关键词文件，对所述录音音频文件进行语音转录，生成对应的转录文本文件，对所述录像视频文件进行特征处理，获得对应的视频特征文件；
[0010]对所述录音音频文件、所述录像视频文件、所述笔录文本文件、笔录关键词文件、转录文本文件以及视频特征文件进行关联并存储至审查服务器；
[0011]所述数据比对流程包括以下步骤：
[0012]对所述笔录文本文件、对应的所述录音音频文件以及对应的录像视频文件进行完整性审查；
[0013]对所述笔录文本文件、对应的所述录音音频文件以及对应的录像视频文件进行一致性审查，所述一致性审查包括事件项目一致性审查、时间一致性审查、参与人员一致性审查以及音视频一致性审查；
[0014]对所述录音音频文件、所述录像视频文件、所述笔录文本文件进行敏感信息审查；其中，
[0015]所述录音音频文件、所述录像视频文件以及所述笔录文本文件之间存在索引对应
关系；
[0016]所述笔录文本文件中包含以询问人和被询问人为对象，按照时间顺序收录的笔录文本信息；
[0017]所述笔录文本文件对应配有一事件项目文件，所述事件项目文件中包括多个事件项目标记，各所述事件项目标记分别对应在录音或录像过程中的事件项目。
[0018]具体的，所述事件项目为开始录制、结束录制、暂停录制、解码故障、网络中断、存储空间已满以及时延过大。
[0019]具体的，所述对所述笔录文本文件、对应的所述录音音频文件以及对应的录像视频文件进行完整性审查，具体包括以下步骤：
[0020]识别存储在审查服务器上对应的事件项目文件与笔录文本文件对应的事件项目文件是否均存在，若存在则通过事件完整性比对；
[0021]识别笔录文本文件是否存在对应的录音音频文件、录像视频文件，若存在则通过文件完整性比对；
[0022]识别笔录关键词文件是否存在对应的转录文本文件以及视频特征文件，若存在则通过特征完整性比对。
[0023]具体的，对所述笔录文本文件、对应的所述录音音频文件以及对应的录像视频文件进行一致性审查，具体包括以下步骤：
[0024]事件项目一致性审查：将存储在审查服务器上对应的事件项目文件与笔录文本文件对应的事件项目文件进行对比；
[0025]时间一致性审查：比对笔录文本文件、录音音频文件以及录像视频文件的生成时间；
[0026]参与人员一致性审查：将所述笔录文本文件中询问人和被询问人与所述视频特征文件中的人脸信息、所述录像视频文件中的声纹信息进行比对；
[0027]音视频一致性审查：将所述录像视频文件中的唇动时间与所述录音音频文件中的讲话时间进行比对。
[0028]具体的，所述对所述录音音频文件、所述录像视频文件、所述笔录文本文件进行敏感信息审查，具体包括以下步骤：
[0029]根据预设的敏感词，识别所述笔录文本文件中是否存在敏感信息；
[0030]根据预设的敏感词，识别所述录音音频文件对应的所述转录文本文件中是否存在敏感信息；
[0031]根据预设的运动阈值，识别所述录像视频文件中是否存在敏感信息；其中，
[0032]所述运动阈值包括运动速度阈值和运动频度阈值。
[0033]进一步的，对所述录音音频文件、所述录像视频文件、所述笔录文本文件、笔录关键词文件、转录文本文件以及视频特征文件进行关联并存储时，还包括以下步骤：
[0034]分别对所述录音音频文件、所述录像视频文件、所述笔录文本文件、笔录关键词文件、转录文本文件以及视频特征文件生成信息摘要，并根据时间建立信息摘要链。
[0035]进一步的，在获得笔录关键词文件、转录文本文件以及视频特征文件之前，还包括文件预处理流程，所述文件预处理流程包括以下步骤：
[0036]对所述笔录文本文件进行信息结构化梳理；
[0037]对所述录音音频文件按照对话间隔进行分段处理，获得各录音音频段，按照时间序列以及声源类别进行对话排序，并标注时间索引；
[0038]根据各录音音频段，对所述录像视频文件进行分割，获得各录像视频段，并对于没有声音的片段重点标记；其中，
[0039]所述声源类别包括询问人、被询问人以及非人声。
[0040]具体的，在根据所述笔录文本文件的关键词，生成对应的笔录关键词文件，对所述录音音频文件进行语音转录，生成对应的转录文本文件，对所述录像视频文件进行特征处理，获得对应的视频特征文件时，采用并行处理方式。
[0041]具体的，所述根据所述笔录文本文件的关键词，生成对应的笔录关键词文件，对所述录音音频文件进行语音转录，生成对应的转录文本文件，对所述录像视频文件进行特征处理，获得对应的视频特征文件，具体包括以下步骤：
[0042]对笔录文本文件进行片段特征提取，获得对应的关键词，进而生成对应的笔录关键词文件；
[0043]对所述录音音频文件根据音频底层特征以及音频来源进行分析，并通过语音转录生成转录文本文件；
[0044]针对所述录像视频文件通过视频目标标注和目标跟踪算法，提取视频信息特征，生成视频特征文件。
[0045]第二方面，本申请提供了一种基于音视频识别技术的笔录数据采集核查装置，所述装置包括：
[0046]数据采集模块，其用于同步采集录音音频文件、录像视频文件以及笔录文本文件；
[0047]数据处理模块，其用于根据所述笔录文本文件的关键词，生成对应的笔录关键词文件，对所述录音音频文件进行语音转录，生成对应的转录文本文本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于音视频识别技术的笔录数据采集核查方法，其特征在于，所述方法包括数据采集流程以及数据比对流程；所述数据采集流程包括以下步骤：同步采集录音音频文件、录像视频文件以及笔录文本文件；根据所述笔录文本文件的关键词，生成对应的笔录关键词文件，对所述录音音频文件进行语音转录，生成对应的转录文本文件，对所述录像视频文件进行特征处理，获得对应的视频特征文件；对所述录音音频文件、所述录像视频文件、所述笔录文本文件、笔录关键词文件、转录文本文件以及视频特征文件进行关联并存储至审查服务器；所述数据比对流程包括以下步骤：对所述笔录文本文件、对应的所述录音音频文件以及对应的录像视频文件进行完整性审查；对所述笔录文本文件、对应的所述录音音频文件以及对应的录像视频文件进行一致性审查，所述一致性审查包括事件项目一致性审查、时间一致性审查、参与人员一致性审查以及音视频一致性审查；对所述录音音频文件、所述录像视频文件、所述笔录文本文件进行敏感信息审查；其中，所述录音音频文件、所述录像视频文件以及所述笔录文本文件之间存在索引对应关系；所述笔录文本文件中包含以询问人和被询问人为对象，按照时间顺序收录的笔录文本信息；所述笔录文本文件对应配有一事件项目文件，所述事件项目文件中包括多个事件项目标记，各所述事件项目标记分别对应在录音或录像过程中的事件项目。2.如权利要求1所述的基于音视频识别技术的笔录数据采集核查方法，其特征在于：所述事件项目为开始录制、结束录制、暂停录制、解码故障、网络中断、存储空间已满以及时延过大。3.如权利要求1所述的基于音视频识别技术的笔录数据采集核查方法，其特征在于，所述对所述笔录文本文件、对应的所述录音音频文件以及对应的录像视频文件进行完整性审查，具体包括以下步骤：识别存储在审查服务器上对应的事件项目文件与笔录文本文件对应的事件项目文件是否均存在，若存在则通过事件完整性比对；识别笔录文本文件是否存在对应的录音音频文件、录像视频文件，若存在则通过文件完整性比对；识别笔录关键词文件是否存在对应的转录文本文件以及视频特征文件，若存在则通过特征完整性比对。4.如权利要求1所述的基于音视频识别技术的笔录数据采集核查方法，其特征在于，对所述笔录文本文件、对应的所述录音音频文件以及对应的录像视频文件进行一致性审查，具体包括以下步骤：事件项目一致性审查：将存储在审查服务器上对应的事件项目文件与笔录文本文件对
应的事件项目文件进行对比；时间一致性审查：比对笔录文本文件、录音音频文件以及录像视频文件的生成时间；参与人员一致性审查：将所述笔录文本文件中询问人和被询问人与所述视频特征文件中的人脸信息、所述录像视频文件中的声纹信息进行比对；音视频一致性审查：将所述录像视频文件中的唇动时间与所述录音音频文件中的讲话时间进行比对。5.如权利要求1所述的基于音视频识别技术的笔录数据采集核查方法，其特征在于，所述对所述录音音频文件、所述录像视频文件、所述笔录文本文件进行敏感信息审查，具体包括以下步骤：根据预设的敏感词，识别所述笔录文本文件中是否存在敏感信息；根据预设的敏感词，识别所述录音音频文件对应的所述转录文本文件中是否存...

【专利技术属性】
技术研发人员：董喆，何双江，徐凤祥，秦威，谭俊，赵慧娟，张亚一，邓乔波，
申请(专利权)人：武汉烽火信息集成技术有限公司，
类型：发明
国别省市：