一种将音视频数据转化成文字记录的系统和方法技术方案

本发明专利技术涉及一种将音视频数据转化成文字记录的系统和方法，其中系统包括数据收集部分、数据识别部分以及数据组织部分；所述数据收集部分包括音频采集模块和视频采集模块；所述数据识别部分包括语音和声纹识别模块以及人脸和表情识别模块；所述数据组织部分根据所述文字信息、识别的开始时间、当前说话者的身份标签、当前说话者的情绪，生成文字记录。本发明专利技术更加细致完整地保存整个音视频数据过程，更贴近真实的情况；本发明专利技术将音视频数据转换为文本格式进行保存，大大降低了存储和传输的成本，也便于后续查看记录，可以更加快速地浏览和定位会议内容。

A system and method for converting audio and video data into word records

The invention relates to a system and method for audio and video data into the written records, the system includes the data collection part, data recognition part and data organization; the data collection part includes audio acquisition module and video capture module; the data recognition part including voice and voice recognition module and face and facial expression recognition module the data part of the organization; according to the text information, the identification of the start time, the speaker's identity label, the speaker's emotions, generate the text record. The present invention more complete preservation of the audio and video data, closer to the real situation; the audio and video data into text format to save, and greatly reduce the cost of storage and transmission, for later viewing records, the content can more quickly browse and locate the meeting.

【技术实现步骤摘要】
一种将音视频数据转化成文字记录的系统和方法
本专利技术涉及一种数据处理技术，具体涉及一种将音视频数据转化成文字记录的系统和方法。
技术介绍
在召开音视频会议时，为了记录会议内容，通常使用摄像头采集视频数据和麦克风采集音频数据或者仅使用麦克风采集音频数据，将音视频数据或音频数据保存成多媒体文件，存储到存储设备中；通过播放多媒体文件，可以观看或收听到会议内容。或者可以由专门的会议记录员通过计算机等输入设备或者手写方式进行笔录，记录下会议内容。采用摄像头、麦克风等设备记录音视频数据的方式，需要将音视频文件存储到存储设备中，因此需要占用较大的存储空间，成本较高，并且后期是通过播放多媒体文件来查看会议内容，不能快速浏览和定位到具体的话题上，因此需要花费较多的时间，并且可能会出现内容的遗漏，导致效率低下。采用笔录的方式记录会议内容虽然有助于快速浏览和定位具体话题，但对记录员的要求较高，如果记录速度远低于会议中讨论的速度，就容易遗漏和出错，导致内容不够完整和细致，并且在后续查看记录无法还原当时的情景。现有技术公开了一种汉语外语有声影像资料双向可逆语音转换并加注字幕的方法，通过识别有声影像资料，将其中的语音识别成文本，并将文本翻译成指定的外文，以字幕的形式叠加在画面上，与原来的语音一起存储或同步输出，从而使有声影像资料变成带有指定外文字幕的有声影像资料。但该方法只是简单地将语音识别成文本，并将文本翻译成指定外文后以字幕的形式在画面上同步显示，但没有根据说话者的不同而将字幕组织成更加贴近真实情况的内容。
技术实现思路
为了解决上述记录的会议内容不完整和细致，并且在后续查看记录无法还原当时的情景的技术问题，本专利技术提供了一种将音视频数据转化成文字记录的系统和方法，技术方案如下。一种将音视频数据转化成文字记录的系统，包括数据收集部分、数据识别部分以及数据组织部分；所述数据收集部分包括音频采集模块和视频采集模块；所述音频采集模块用于捕获当前说话者的音频数据，并记录其说话的开始时间；所述视频采集模块用于捕获当前说话者的图像，并记录其说话的开始时间；所述数据识别部分包括语音和声纹识别模块以及人脸和表情识别模块；所述语音和声纹识别模块对所述音频采集模块捕获的音频数据进行处理，将其转化成文本格式的文字信息，并对所述音频采集模块捕获的音频数据进行处理，用以识别当前说话者，并对每个说话者赋予一个身份标签；所述人脸和表情识别模块利用表情识别技术对所述视频采集模块捕获的图像进行处理，识别当前说话者的表情，获得该说话者的情绪，并对所述视频采集模块捕获的图像进行处理，用以识别当前说话者，并对每个说话者赋予一个身份标签；所述数据组织部分根据所述文字信息、识别的开始时间、当前说话者的身份标签以及当前说话者的情绪，生成文字记录。进一步地，所述文字记录为对话形式的文字记录。进一步地，所述系统还包括数据补充和修正部分，所述数据补充和修正部分用于对所述文字记录进行补充和修正。进一步地，所述音频采集模块为麦克风，和/或，所述视频采集模块为摄像头。进一步地，所述系统还包括存储模块，所述存储模块存储有记录包含说话者的身份标签、声纹特征数据和脸部特征数据的数据表。一种将音视频数据转化成文字记录的方法，包括以下步骤：步骤S21、数据收集：捕获当前说话者的音频数据和当前说话者的图像，并记录其说话的开始时间；步骤S22、数据识别：对捕获的音频数据进行处理，将其转化成文本格式的文字信息；对捕获的图像进行处理，识别当前说话者的表情，获得该说话者的情绪；对捕获的音频数据和/或对捕获的图像进行处理，用以识别当前说话者，并为每个说话者赋予一个身份标签；步骤23、数据组织：所述数据组织部分根据所述文字信息、识别的开始时间、当前说话者的身份标签以及当前说话者的情绪，生成文字记录。进一步地，所述文字记录为对话形式的文字记录。进一步地，所述方法还包括步骤S24、数据补充和修正：对所述文字记录进行补充和修正。进一步地，所述身份标签与说话者的声纹特征数据和/或脸部特征数据相关联地存储在存储模块中，在对每个说话者赋予身份标签前，先查找该存储模块中是否已经存储有与该说话者匹配的身份标签，如果没有查找到，则赋予该说话者一个身份标签。一种将音视频数据转化成文字记录的方法，包括以下步骤：步骤S30、准备工作：启动麦克风和摄像头，创建说话者列表，创建保存文本的文件地址，其中说话者列表的项目包括说话者的唯一的身份标签、说话者的声纹特征数据和脸部特征数据；步骤S31：捕获数据：说话者开始发言时，麦克风捕获当前发言的说话者的语音输入获得当前发言的说话者的音频数据，记录当前发言的与会者音频数据的开始时间；同时摄像头捕获当前发言的说话者的图像获得当前发言的说话者的视频数据，记录当前发言的与会者视频数据的开始时间；步骤S32：使用声纹识别技术分析和处理麦克风获取的当前发言的说话者的音频数据，并进行声纹特征识别；使用人脸识别技术分析和处理摄像头获取的当前发言的说话者的视频数据，并进行脸部特征识别；步骤S33：判断是否成功识别到声纹特征数据以及是否成功识别到脸部特征数据，如果成功识别到声纹特征数据和/或脸部特征数据，则进入步骤S34；如果未成功识别到声纹特征数据和脸部特征数据，则进入步骤S35；步骤S34：判断说话者列表中是否已经存在与该声纹特征数据和/或该脸部特征数据相匹配的说话者，如果存在，则进入步骤S35，同时补充完整该说话者的相关信息；如果不存在，则在说话者列表中加入新条目，保存新说话者的身份标签、声纹特征数据和脸部特征数据，同时进入步骤S35；步骤S35：使用语音识别技术分析处理音频数据，进行音频数据转化成文字的操作；步骤S36：判断音频数据是否成功转化成文字，如果是，则进入步骤S37；如果否，则返回步骤S35继续进行转化操作；步骤S37：使用表情识别技术分析处理视频数据，获取当前发言的说话者的情绪；步骤S38：获取当前的日期和时间；步骤S39：将日期、时间、匹配声纹和/或脸部特征数据的说话者的身份标签、语音识别的文字、表情识别的情绪组织成对话形式的文字记录，并保存在创建的文件地址中；步骤S40：返回步骤S31继续执行，保存不同说话者发言的内容，直到会话过程结束。本专利技术的有益效果：本专利技术更加细致完整地保存整个音视频数据过程，更贴近真实的情况；本专利技术将音视频数据转换为文本格式进行保存，大大降低了存储和传输的成本，也便于后续查看记录，可以更加快速地浏览和定位会议内容。本专利技术利用声纹识别技术、人脸识别技术，识别出不同的与会者；并将语音识别技术和表情识别技术得到的文本内容进行整理和组织，形成对话形式的文字记录。本专利技术提供方便用户进行补充修正记录的接口，以保证文字记录的正确性，提高可读性。附图说明图1是本专利技术提出的将音视频数据转化成文字记录的系统的结构框图；图2是本专利技术提出的将音视频数据转化成文字记录的系统的结构示意图；图3本专利技术提出的将音视频数据转化成文字记录的方法的第一种流程图；图4本专利技术提出的将音视频数据转化成文字记录的方法的第二种流程图。具体实施方式为使本专利技术的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本专利技术进一步详细说明。实施例中以视频会议录像为例进行说明，但本领域技术人员知晓，本文档来自技高网...

【技术保护点】
一种将音视频数据转化成文字记录的系统，其特征在于，包括数据收集部分、数据识别部分以及数据组织部分；所述数据收集部分包括音频采集模块和视频采集模块；所述音频采集模块用于捕获当前说话者的音频数据，并记录其说话的开始时间；所述视频采集模块用于捕获当前说话者的图像，并记录其说话的开始时间；所述数据识别部分包括语音和声纹识别模块以及人脸和表情识别模块；所述语音和声纹识别模块对所述音频采集模块捕获的音频数据进行处理，将其转化成文本格式的文字信息，并对所述音频采集模块捕获的音频数据进行处理，用以识别当前说话者，并对每个说话者赋予一个身份标签；所述人脸和表情识别模块利用表情识别技术对所述视频采集模块捕获的图像进行处理，识别当前说话者的表情，获得该说话者的情绪，并对所述视频采集模块捕获的图像进行处理，用以识别当前说话者，并对每个说话者赋予一个身份标签；所述数据组织部分根据所述文字信息、识别的开始时间、当前说话者的身份标签以及当前说话者的情绪，生成文字记录。

【技术特征摘要】
1.一种将音视频数据转化成文字记录的系统，其特征在于，包括数据收集部分、数据识别部分以及数据组织部分；所述数据收集部分包括音频采集模块和视频采集模块；所述音频采集模块用于捕获当前说话者的音频数据，并记录其说话的开始时间；所述视频采集模块用于捕获当前说话者的图像，并记录其说话的开始时间；所述数据识别部分包括语音和声纹识别模块以及人脸和表情识别模块；所述语音和声纹识别模块对所述音频采集模块捕获的音频数据进行处理，将其转化成文本格式的文字信息，并对所述音频采集模块捕获的音频数据进行处理，用以识别当前说话者，并对每个说话者赋予一个身份标签；所述人脸和表情识别模块利用表情识别技术对所述视频采集模块捕获的图像进行处理，识别当前说话者的表情，获得该说话者的情绪，并对所述视频采集模块捕获的图像进行处理，用以识别当前说话者，并对每个说话者赋予一个身份标签；所述数据组织部分根据所述文字信息、识别的开始时间、当前说话者的身份标签以及当前说话者的情绪，生成文字记录。2.根据权利要求1所述的系统，其特征在于，所述文字记录为对话形式的文字记录。3.根据权利要求1或2所述的系统，其特征在于，所述系统还包括数据补充和修正部分，所述数据补充和修正部分用于对所述文字记录进行补充和修正。4.根据权利要求1或2所述的系统，其特征在于，所述音频采集模块为麦克风，和/或，所述视频采集模块为摄像头。5.根据权利要求1或2所述的系统，其特征在于，所述系统还包括存储模块，所述存储模块存储有记录包含说话者的身份标签、声纹特征数据和脸部特征数据的数据表。6.一种将音视频数据转化成文字记录的方法，其特征在于，包括以下步骤：步骤S21、数据收集：捕获当前说话者的音频数据和当前说话者的图像，并记录其说话的开始时间；步骤S22、数据识别：对捕获的音频数据进行处理，将其转化成文本格式的文字信息；对捕获的图像进行处理，识别当前说话者的表情，获得该说话者的情绪；对捕获的音频数据和/或对捕获的图像进行处理，用以识别当前说话者，并为每个说话者赋予一个身份标签；步骤23、数据组织：所述数据组织部分根据所述文字信息、识别的开始时间、当前说话者的身份标签以及当前说话者的情绪，生成文字记录。7.根据权利要求6所述的方法，其特征在于，所述文字记录为对话形式的文字记录。8.根据权利要求6或7所述的方法，其特征在于，所述方法还包括步...

【专利技术属性】
技术研发人员：李纯冬，
申请(专利权)人：广州视源电子科技股份有限公司，广州视睿电子科技有限公司，
类型：发明
国别省市：广东,44