【技术实现步骤摘要】
本专利技术属于设备监护，具体涉及一种基于自然语言处理的智能育儿系统和装置。
技术介绍
1、科学、健康的育儿方式对于孩子的全面发展、心理健康和未来的生活都具有重要的影响，而这就要求父母有足够的时间和精力去获取并应用关于儿童生理、心理、行为和营养等方面的知识，为家长提供正确、科学的育儿指导，以促进儿童的全面发展。但现实情况，可能是爷爷奶奶带娃没有途径获取或排斥更加先进科学的育儿方式理念，又或者是爸爸妈妈空闲时间通过百度、抖音、微信公众号或周围的人获取的一些可能存在不合理的育儿方式，极少数父母积极学习接触科学理念也可能有效实施。
2、科学的育儿方式不仅能促进儿童身心的健康成长，还能有效促进家庭的和谐关系。由于家庭成员原始文化背景不同、信息来源不一样，导致在育儿的各项方式和观念上存在区别，不仅令育儿方法不能得到实施，问题严重时引起家庭矛盾。
3、中国申请号为202310311685.0的专利技术专利公开了用于看护儿童的方法及装置、电子设备、存储介质，可及时地干预儿童相关联场景的日常行为，实现扩展看护适用场景的目的。但该现有技术无法对育儿过程进行纠正。
技术实现思路
1、有鉴于此，本专利技术一种基于自然语言处理的智能育儿系统和装置，包含育儿纠错、育儿百科以及智能陪伴三个模块，不仅能提供健康科学的育儿知识，还能有效监督育儿方法的有效应用，同时在儿童与父母之间沟通相处中提供助力。
2、本专利技术的技术目的是这样实现的：
3、一方面，本专利技术提供一
4、育儿百科模块，其配置获取育儿资源数据，利用育儿资源数据对语言大模型进行训练，将训练后的语言大模型作为知识库，并采用离线部署；
5、育儿纠错模块，其配置为对日常对话进行实时监控，捕获到语音后进行文本转换，利用预训练的分类模型对文本进行分类，得到文本标签和概率值，文本标签包括文本需要纠错，将文本标签为文本需要纠错的文本传输至知识库中，得到纠错反馈，根据概率值确定纠错反馈的方式并传达给用户；
6、智能陪伴模块，其配置为根据年龄阶段形成对应的陪伴方式，结合知识库对不同年龄阶段的儿童进行智能陪伴。
7、在上述技术方案的基础上，优选的，语言大模型的训练过程为：
8、获取育儿相关的文本数据；
9、将文本数据进行格式转换，形成json格式的文本数据，json格式中包括prompt、response和history，其中prompt为育儿问题，response为该问题的相关解答，history代表多轮问答的上下文信息；
10、获取经过语言基础训练的语言大模型，语言大模型采用基于transformer的网络框架；
11、利用多查询注意力对语言大模型进行模型加速，并采用json格式的文本数据对语言大模型进行模型微调，得到训练后的语言大模型。
12、在上述技术方案的基础上，优选的，多查询注意力的计算过程为：
13、输入查询矩阵q、键矩阵k和值矩阵v；
14、将查询矩阵q分成多个查询向量q1,q2,...,qm；
15、对每个查询向量qx，计算qx与键矩阵k之间的注意力分数：
16、将注意力分数归一化，得到注意力权重；
17、将注意力权重与值矩阵中的向量进行加权求和，得到对查询的注意力表示，其注意力公式如下：
18、
19、式中，sim代表相似度计算，kx和vx分别表示k和v中的向量，kx和vx均通过共享注意力头的k和v矩阵得到。
20、在上述技术方案的基础上，优选的，模型微调的过程为：
21、将json格式的文本数据输入语言大模型中，并在输入层的每一层中添加可微调参数prefix；
22、对语言大模型进行第一次微调训练，将json格式的文本数据与相应的prefix进行拼接，生成与育儿相关的内容，通过最小化生成结果与标准答案之间的差异来更新prompt参数，其中，在该次训练中，仅对prompt参数进行微调，保持其他参数不变；
23、在第一次微调训练完成后，对语言大模型进行第二次微调训练，利用json格式的文本数据对语言大模型进行进一步的训练，通过最小化生成结果与标准答案之间的差异来更新模型的参数，其中，在该次训练中，将prompt参数冻结，对其他参数和prefix进行微调。
24、在上述技术方案的基础上，优选的，在对语言大模型进行第一次微调训练和第二次微调训练时，通过控制prefix参数的数量和维度，限制模型可训练参数的量。
25、在上述技术方案的基础上，优选的，育儿纠错模块包括：
26、语音处理单元，其配置为实时获取语音，并对语音进行处理，将语音转换为文本；
27、文本分类单元，其配置为利用预训练的分类模型对文本进行分类，得到文本标签和概率值，文本标签包括文本需要纠错，将文本标签为文本需要纠错的文本筛选出来，作为待纠错文本，获取待纠错文本前后时间间隔不超过30秒的文本内容，作为待纠错文本的补充本文，在补充文本前添加提示词，将待纠错文本、补充本文及提示词传输至育儿百科模块的知识库中；
28、纠错反馈单元，其配置为接收知识库对待纠错文本的纠错建议，并形成纠错反馈，根据待纠错文本的概率值设置其对应纠错反馈的方式，按照纠错反馈的方式将纠错反馈传达给用户。
29、在上述技术方案的基础上，优选的，语音处理单元的执行过程为：
30、将语音信号以10s为跨度，每1秒进行窗口捕捉，得到一系列的窗口语音(w1,w2,...wn)；
31、设置静默阈值和静默时长阈值，对每个窗口语音进行静默监测，将超过静默时长阈值的静默部分从语音中分割出来，得到一系列语音段sij，其中i代表窗口号，j代表该窗口的语音段；
32、对处于不同窗口下连续不存在静默部分的语音段进行合并，记录合并后语音段的起始时间和结束时间；
33、使用语音识别方法将每段合并后的语音转换为文本，得到每段语音的起始时间、结束时间和对应的文本内容，表示为(strat,end,text)。
34、在上述技术方案的基础上，优选的，分类模型的预训练过程为：
35、采集家庭普通日常用语和常见育儿误区的数据，并人工标注每个数据，将需要纠错的数据标签记为“1”，得到训练数据；
36、使用tokenizer工具对采集到的训练数据进行转换，得到inputs token和segmenttoken，加载到分类模型，并设置mlm任务；
37、设置训练超参数，包括学习率、训练轮次、学习率预热比率和衰减系数；
38、使用训练数据对分类模型进行迭代训练，直至满足性能指标，得到预训练的分类模型。
39、在上述技术方案的基础上，优选的，纠错反馈的方式包括：
40、语音反馈的方式，若概率值超过概率本文档来自技高网...
【技术保护点】
1.一种基于自然语言处理的智能育儿系统，其特征在于，包括：
2.如权利要求1所述的一种基于自然语言处理的智能育儿系统，其特征在于，语言大模型的训练过程为：
3.如权利要求2所述的一种基于自然语言处理的智能育儿系统，其特征在于，多查询注意力的计算过程为：
4.如权利要求2所述的一种基于自然语言处理的智能育儿系统，其特征在于，模型微调的过程为：
5.如权利要求4所述的一种基于自然语言处理的智能育儿系统，其特征在于，在对语言大模型进行第一次微调训练和第二次微调训练时，通过控制prefix参数的数量和维度，限制模型可训练参数的量。
6.如权利要求2所述的一种基于自然语言处理的智能育儿系统，其特征在于，育儿纠错模块包括：
7.如权利要求6所述的一种基于自然语言处理的智能育儿系统，其特征在于，语音处理单元的执行过程为：
8.如权利要求6所述的一种基于自然语言处理的智能育儿系统，其特征在于，分类模型的预训练过程为：
9.如权利要求1所述的一种基于自然语言处理的智能育儿系统，其特征在于，纠错反馈的方式
10.一种基于自然语言处理的智能育儿装置，其特征在于，包括硬件平台和软件系统，软件系统为上述权利要求1-9任一所述的系统，硬件平台包括：
...【技术特征摘要】
1.一种基于自然语言处理的智能育儿系统，其特征在于，包括：
2.如权利要求1所述的一种基于自然语言处理的智能育儿系统，其特征在于，语言大模型的训练过程为：
3.如权利要求2所述的一种基于自然语言处理的智能育儿系统，其特征在于，多查询注意力的计算过程为：
4.如权利要求2所述的一种基于自然语言处理的智能育儿系统，其特征在于，模型微调的过程为：
5.如权利要求4所述的一种基于自然语言处理的智能育儿系统，其特征在于，在对语言大模型进行第一次微调训练和第二次微调训练时，通过控制prefix参数的数量和维度，限制模型可训练参数的量。...
【专利技术属性】
技术研发人员：李舵文，熊纯，严鹤，王俊，
申请(专利权)人：云启智慧科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。