菜谱生成方法和烹饪方法技术

本发明专利技术涉及烹饪领域，提供一种菜谱生成方法和烹饪方法，该菜谱烹饪方法包括：获取烹饪过程中的视频信息和音频信息，所述音频信息用于表征在所述烹饪过程中食材、锅具和灶具中的至少一种产生的声音；基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为；基于所述目标烹饪行为，生成目标菜谱。该菜谱烹饪方法通过结合音频信息，将视频信息中的行为进行更准确的区分，从而增加烹饪行为识别的准确率，生成的目标菜谱更加精确，有助于用户使用目标菜谱进行烹饪时，提升烹饪效果，提高烹饪过程的趣味性。高烹饪过程的趣味性。高烹饪过程的趣味性。

【技术实现步骤摘要】
菜谱生成方法和烹饪方法


[0001]本专利技术涉及烹饪
，尤其涉及一种菜谱生成方法和烹饪方法。

技术介绍

[0002]随着生活水平的提高，人们对食物的要求越来越高，越来越多的人会利用空闲时间进行烹饪以满足美食爱好，用户可以依照书本上的菜谱或网上的菜谱准备食材并进行烹饪。
[0003]现有技术中，通过图像识别技术，识别图像中的烹饪行为，生成菜谱，由于菜谱中所描述的烹饪行为准确性低，用户在使用这种类型的菜谱进行烹饪时，常常无法达到预期的烹饪效果，影响了用户对菜谱的使用感受，降低了烹饪的趣味性。

技术实现思路

[0004]本专利技术旨在至少解决现有技术中存在的技术问题之一。为此，本专利技术提出一种菜谱生成方法，生成更加精确的目标菜谱，提高烹饪过程的趣味性。
[0005]本专利技术还提出一种烹饪方法。
[0006]根据本专利技术第一方面实施例的菜谱生成方法，包括：获取烹饪过程中的视频信息和音频信息，所述音频信息用于表征在所述烹饪过程中食材、锅具和灶具中的至少一种产生的声音；基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为；基于所述目标烹饪行为，生成目标菜谱。
[0007]根据本专利技术实施例的菜谱生成方法，通过结合视频信息和音频信息，对烹饪过程中的目标烹饪行为进行准确的识别，生成的目标菜谱更加精确，有助于用户使用目标菜谱进行烹饪时，达到预期的烹饪效果，提高烹饪过程的趣味性。
[0008]根据本专利技术的一个实施例，所述基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为，包括：从所述视频信息中，确定目标图像序列；对所述目标图像序列进行特征提取，得到图像特征；对所述音频信息进行特征提取，得到音频特征；基于所述图像特征和所述音频特征，得到所述目标烹饪行为。
[0009]根据本专利技术的一个实施例，所述目标图像序列包括：低频图像序列和高频图像序列；所述对所述目标图像序列进行特征提取，得到图像特征，包括：将所述低频图像序列进行特征提取，得到低频图像特征；将所述高频图像序列进行特征提取，得到高频图像特征；
[0010]所述基于所述图像特征和所述音频特征，得到所述目标烹饪行为，包括：基于所述低频图像特征、所述高频图像特征和所述音频特征，得到所述目标烹饪行为。
[0011]根据本专利技术的一个实施例，所述基于所述图像特征和所述音频特征，得到所述目标烹饪行为，包括：将所述图像特征和所述音频特征进行特征融合，得到融合特征；将所述图像特征和所述音频特征分别与所述融合特征进行特征融合，得到新的图像特征和新的音频特征；基于所述新的图像特征和所述新的音频特征，得到所述目标烹饪行为，对新的图像特征和新的音频特征进行识别，融合识别的烹饪物品、图像上的烹饪行为和音频上的烹饪
行为，有效提高了对目标烹饪行为的识别准确度。
[0012]根据本专利技术的一个实施例，所述将所述图像特征和所述音频特征进行特征融合，得到融合特征，包括：
[0013]以所述图像特征和所述音频特征中的一个特征的维度为基准，调整另一个特征的维度；将调整后的特征与所述一个特征进行融合，得到所述融合特征；
[0014]所述将所述图像特征和所述音频特征分别与所述融合特征进行特征融合，得到新的图像特征和新的音频特征，包括：
[0015]将所述融合特征作为所述新的图像特征和所述新的音频特征中的一个特征；
[0016]将所述融合特征的维度调整为与所述图像特征和所述音频特征中的另一个特征的维度相同，并与所述另一个特征进行融合，得到所述新的图像特征和所述新的音频特征中的另一个特征。
[0017]根据本专利技术的一个实施例，所述基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为，包括：
[0018]将所述视频信息和所述音频信息输入到行为识别模型的特征提取层，输出图像特征和音频特征；
[0019]将所述图像特征和所述音频特征输入到所述行为识别模型的融合层，所述融合层将所述图像特征和所述音频特征进行特征融合，得到融合特征，且将所述图像特征和所述音频特征分别与所述融合特征，得到新的图像特征和新的音频特征；
[0020]将所述新的图像特征和所述新的音频特征输入到所述行为识别模型的识别层，得到所述目标烹饪行为；
[0021]其中，所述行为识别模型为，以样本视频信息和样本音频信息为样本，以预先确定的与所述样本视频信息和所述样本音频信息对应的样本烹饪行为为样本标签，训练得到。
[0022]所述行为识别模型在音频信息的基础之上，将视频信息中的烹饪行为进行更准确的区分，增加行为识别的准确率，提升得到的目标烹饪行为的准确度。
[0023]根据本专利技术的一个实施例，所述基于所述目标烹饪行为，生成目标菜谱，包括：
[0024]基于所述目标烹饪行为，生成语音提示信息；
[0025]基于所述语音提示信息，生成用于语音播报的目标菜谱。
[0026]根据本专利技术第二方面实施例的烹饪方法，包括：
[0027]接收用户的第一输入；响应于所述第一输入，获取目标菜谱，所述目标菜谱为通过上述菜谱生成方法生成的；播放所述目标菜谱。
[0028]根据本专利技术实施例的烹饪方法，通过播放目标菜谱，指导用户在烹饪过程中的烹饪行为，有助于用户达到预期的烹饪效果，提高烹饪过程的趣味性。
[0029]根据本专利技术的一个实施例，所述播放所述目标菜谱，包括：获取用户在烹饪过程中的实时视频信息和实时音频信息；基于所述实时视频信息和所述实时音频信息，识别用户的实时烹饪行为；基于所述实时烹饪行为，确定与下一个目标烹饪行为对应的语音提示信息的播放时刻，使得目标菜谱的播放节奏与用户的烹饪操作速度所匹配，提高用户操作的自由度和烹饪的趣味性。
[0030]根据本专利技术的一个实施例，在所述获取目标菜谱后，所述播放所述目标菜谱之前，所述方法还包括：
[0031]基于所述目标菜谱，输出备菜信息；接收用户的第二输入；
[0032]所述播放所述目标菜谱，包括：
[0033]响应于所述第二输入，播放所述目标菜谱。
[0034]根据本专利技术第三方面实施例的菜谱生成装置，包括：
[0035]获取模块，用于获取烹饪过程中的视频信息和音频信息，所述音频信息用于表征在所述烹饪过程中食材、锅具和灶具中的至少一种产生的声音；
[0036]识别模块，用于基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为；
[0037]生成模块，用于基于所述目标烹饪行为，生成目标菜谱。
[0038]根据本专利技术第四方面实施例的烹饪装置，包括：
[0039]接收模块，用于接收用户的第一输入；
[0040]响应模块，用于响应于所述第一输入，获取目标菜谱，所述目标菜谱为通过上述菜谱生成方法生成的；
[0041]处理模块，用于播放所述目标菜谱。
[0042]根据本专利技术第五方面实施例的电子设备，包括存储器、处理器及存储在所述存本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种菜谱生成方法，其特征在于，包括：获取烹饪过程中的视频信息和音频信息，所述音频信息用于表征在所述烹饪过程中食材、锅具和灶具中的至少一种产生的声音；基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为；基于所述目标烹饪行为，生成目标菜谱。2.根据权利要求1所述的菜谱生成方法，其特征在于，所述基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为，包括：从所述视频信息中，确定目标图像序列；对所述目标图像序列进行特征提取，得到图像特征；对所述音频信息进行特征提取，得到音频特征；基于所述图像特征和所述音频特征，得到所述目标烹饪行为。3.根据权利要求2所述的菜谱生成方法，其特征在于，所述目标图像序列包括：低频图像序列和高频图像序列；所述对所述目标图像序列进行特征提取，得到图像特征，包括：将所述低频图像序列进行特征提取，得到低频图像特征；将所述高频图像序列进行特征提取，得到高频图像特征；所述基于所述图像特征和所述音频特征，得到所述目标烹饪行为，包括：基于所述低频图像特征、所述高频图像特征和所述音频特征，得到所述目标烹饪行为。4.根据权利要求2所述的菜谱生成方法，其特征在于，所述基于所述图像特征和所述音频特征，得到所述目标烹饪行为，包括：将所述图像特征和所述音频特征进行特征融合，得到融合特征；将所述图像特征和所述音频特征分别与所述融合特征进行特征融合，得到新的图像特征和新的音频特征；基于所述新的图像特征和所述新的音频特征，得到所述目标烹饪行为。5.根据权利要求4所述的菜谱生成方法，其特征在于，所述将所述图像特征和所述音频特征进行特征融合，得到融合特征，包括：以所述图像特征和所述音频特征中的一个特征的维度为基准，调整另一个特征的维度；将调整后的特征与所述一个特征进行融合，得到所述融合特征；所述将所述图像特征和所述音频特征分别与所述融合特征进行特征融合，得到新的图像特征和新的音频特征，包括：将所述融合特征作为所述新的图像特征和所述新的音频特征中的一个特征；将所述融合特征的维度调整为与所述图像特征和所述音频特征中的另一个特征的维度相同，并与所述另一个特征进行融合，得到所述新的图像特征和所述新的音频特征中的另一个特征。6.根据权利要求1所述的菜谱生成方法，其特征在于，所述基于所述视频信息和所述音频信息，识别出所述烹饪过程中的目标烹饪行为，包括：将所述视频信息和所述音频信息输入到行为识别模型的特征提取层，输出图像特征和音频特征；
将所述图像特征和所述音频特征输入到所述行为识别模型的融合层，所述融合层将所述图像特征和...

【专利技术属性】
技术研发人员：陈磊，陈蔚，尹宇婧，魏中科，全永兵，
申请(专利权)人：佛山市顺德区美的洗涤电器制造有限公司，
类型：发明
国别省市：