获取用户使用时长的方法和系统技术方案

本发明专利技术提供了获取用户使用时长的方法和系统，其在用户进行线上学习的全过程中进行拍摄和录音，以此获得用户在线上学习全过程的动作信息和语音信息，并根据该动作信息和该语音信息判断不同时间间隔内用户是否处于有效线上学习状态，并累计用户在线上学习全过程中的总计有效学习使用时长，以便于针对性地提高用户的线上学习效率以及降低用户的线上学习体验性。

【技术实现步骤摘要】
获取用户使用时长的方法和系统
本专利技术涉及智能教育的
，特别涉及获取用户使用时长的方法和系统。
技术介绍
目前，线上教学都是通过相应的终端播放教学视频，来实现与用户的教学互动，但是用户在进行线上学习的过程中并不是全程都将注意力集中在观看教学视频中。用户在进行线上学习过程中集中注意力参与互动教学的总计有效学习使用时长会影响用户的线上学习效率，而现有技术并不能准确地确定该总计有效学习使用时长，从而无法有针对性地提高用户的线上学习效率以及降低用户的线上学习体验性。
技术实现思路
针对现有技术存在的缺陷，本专利技术提供获取用户使用时长的方法和系统，其通过对用户进行拍摄和录音，以此获得该用户在进行线上学习过程中的影像数据和声音数据，并对该影像数据和该数据信息进行规范预处理，再将经过该规范化预处理的该影像数据和所述声音数据分别切分为若干影像片段数据和若干声音片段数据，再判断该影像片段数据和该声音片段数据对应的时间间隔内，该用户是否处于有效线上学习状态，最后根据该有效线上学习状态的判断结果，确定该用户在所述线上学习过程中的总计有效学习使用时长；可见，该获取用户使用时长的方法和系统在用户进行线上学习的全过程中进行拍摄和录音，以此获得用户在线上学习全过程的动作信息和语音信息，并根据该动作信息和该语音信息判断不同时间间隔内用户是否处于有效线上学习状态，并累计用户在线上学习全过程中的总计有效学习使用时长，以便于针对性地提高用户的线上学习效率以及降低用户的线上学习体验性。本专利技术提供获取用户使用时长的方法，其特征在于，其包括如下步骤：步骤S1，对用户进行拍摄和录音，以此获得所述用户在进行线上学习过程中的影像数据和声音数据，并对所述影像数据和所述数据信息进行规范预处理；步骤S2，将经过所述规范化预处理的所述影像数据和所述声音数据分别切分为若干影像片段数据和若干声音片段数据，再判断所述影像片段数据和所述声音片段数据对应的时间间隔内，所述用户是否处于有效线上学习状态；步骤S3，根据所述有效线上学习状态的判断结果，确定所述用户在所述线上学习过程中的总计有效学习使用时长；进一步，在所述步骤S1中，对用户进行拍摄和录音，以此获得所述用户在进行线上学习过程中的影像数据和声音数据，并对所述影像数据和所述数据信息进行规范预处理具体包括，步骤S101，在所述用户进行线上学习过程中，采用多目摄像头对所述用户进行多视角拍摄，从而获得关于所述用户的多视角动态影像数据；步骤S102，在所述用户进行线上学习过程中，采用麦克风阵列对所述用户进行多方位录音，从而获得关于所述用户的多方位声音数据；步骤S103，从所述多视角动态影像数据中识别区分用户相关像素区域和背景环境相关像素区域，并对所述背景环境相关像素区域进行像素虚化处理，以此实现对所述影像数据的规范化处理；步骤S104，对所述多方位声音数据进行背景噪声降噪滤波处理，从而消除所述多方位声音数据中的背景噪声成分，以此实现对所述声音数据的规范化处理；进一步，在所述步骤S104中，对所述多方位声音数据进行背景噪声降噪滤波处理，从而消除所述多方位声音数据中的背景噪声成分，以此实现对所述声音数据的规范化处理具体为对所述多方位声音数据进行时序降噪滤波处理，从而消除所述多方位声音数据中的背景噪声成分，所述时序降噪滤波处理包括根据将多方位声音数据中的前一帧已完成降噪滤波的声音数据，加入到下一帧未完成降噪滤波的声音数据，从而实现多方位声音数据的迭代降噪滤波，其具体过程包括，步骤S1041，利用下面公式(1)，得到时序降噪帧频比重值在上述公式(1)中，βi表示第i帧多方位声音数据对应的时序降噪帧频比重值，Zi-1表示第i-1帧多方位声音数据对应的频域能量值，Wi-1表示第i-1帧多方位声音数据经过降噪滤波后对应的频域能量值，且i和i-1的取值为多方位声音数据的总帧数内的任一正整数；步骤S1042，利用下面公式(2)，对所述时序降噪帧频比重值βi进行修正在上述公式(2)中，表示修正后的第i帧多方位声音数据对应的时序降噪帧频比重值，Zi表示第i帧多方位声音数据对应的频域能量值，Wi-1表示第i-1帧多方位声音数据经过降噪滤波后对应的频域能量值；步骤S1043，利用下面公式(3)，得到经过降噪滤波后第i帧多方位声音数据对应的频域能量值Wi再重复执行上述步骤S1041-S1043，对每一帧多方位声音数据进行处理，从而多方位声音数据的迭代降噪滤波，以此消除所述多方位声音数据中的背景噪声成分；进一步，在所述步骤S2中，将经过所述规范化预处理的所述影像数据和所述声音数据分别切分为若干影像片段数据和若干声音片段数据，再判断所述影像片段数据和所述声音片段数据对应的时间间隔内，所述用户是否处于有效线上学习状态具体包括，步骤S201，按照预设时间间隔，将经过所述规范化处理的所述影像数据切分为若干具有相同时间长度的影像片段数据，以及按照所述预设时间间隔，将经过所述规范化处理的所述声音数据切分为若干具有相同时间长度的声音片段数据；步骤S202，从所述影像片段数据中识别得到所述用户的实际视线动作，并将所述实际视线动作与预设标准视线动作范围进行比对，若两者相匹配，则确定所述影像片段数据对应的时间间隔内，所述用户处于有效线上学习状态，否则确定所述影像片段数据对应的时间间隔内，所述用户不处于有效线上学习状态；步骤S203，根据所述用户自身的声纹特征信息，从所述声音片段数据中识别所述用户对应的语音信息数据，并识别所述语音信息数据对应的实际语义信息，再将所述实际语义信息与预设标准语义库进行比对，若两者相匹配，则确定所述声音片段数据对应的时间间隔内，所述用户处于有效线上学习状态，否则确定所述声音片段数据对应的时间间隔内，所述用户不处于有效线上学习状态；进一步，在所述步骤S3中，根据所述有效线上学习状态的判断结果，确定所述用户在所述线上学习过程中的总计有效学习使用时长具体包括，步骤S301，确定被判断为所述用户处于有效线上学习状态对应的所述影像片段数据和所述声音片段数据各自的片段数据数量；步骤S302，根据所述影像片段数据和所述声音片段数据各自的片段数据数量以及所述时间间隔，确定用户在所述线上学习过程中的总计有效学习使用时长。本专利技术还提供获取用户使用时长的系统，其特征在于，其包括拍摄模块、录音模块、数据规范化处理模块、数据切分模块，有效线上学习状态判断模块和总计有效学习使用时长确定模块；其中，所述拍摄模块和所述录音模块分别用于对用户进行拍摄和录音，以此获得所述用户在进行线上学习过程中的影像数据和声音数据；所述数据规范化处理模块用于对所述影像数据和所述数据信息进行规范预处理；所述数据切分模块用于将经过所述规范化预处理的所述影像数据和所述声音数据分别切分为若干影像片段数据和若干声音片段数据；所述有效线上学习状态判断模块用于判断所述影像片段数据和所述声音片段本文档来自技高网...

【技术保护点】
1.获取用户使用时长的方法，其特征在于，其包括如下步骤：/n步骤S1，对用户进行拍摄和录音，以此获得所述用户在进行线上学习过程中的影像数据和声音数据，并对所述影像数据和所述声音数据进行规范预处理；/n步骤S2，将经过所述规范化预处理的所述影像数据和所述声音数据分别切分为若干影像片段数据和若干声音片段数据，再判断所述影像片段数据和所述声音片段数据对应的时间间隔内，所述用户是否处于有效线上学习状态；/n步骤S3，根据所述有效线上学习状态的判断结果，确定所述用户在所述线上学习过程中的总计有效学习使用时长。/n

【技术特征摘要】
1.获取用户使用时长的方法，其特征在于，其包括如下步骤：
步骤S1，对用户进行拍摄和录音，以此获得所述用户在进行线上学习过程中的影像数据和声音数据，并对所述影像数据和所述声音数据进行规范预处理；
步骤S2，将经过所述规范化预处理的所述影像数据和所述声音数据分别切分为若干影像片段数据和若干声音片段数据，再判断所述影像片段数据和所述声音片段数据对应的时间间隔内，所述用户是否处于有效线上学习状态；
步骤S3，根据所述有效线上学习状态的判断结果，确定所述用户在所述线上学习过程中的总计有效学习使用时长。


2.如权利要求1所述的获取用户使用时长的方法，其特征在于：
在所述步骤S1中，对用户进行拍摄和录音，以此获得所述用户在进行线上学习过程中的影像数据和声音数据，并对所述影像数据和所述数据信息进行规范预处理具体包括，
步骤S101，在所述用户进行线上学习过程中，采用多目摄像头对所述用户进行多视角拍摄，从而获得关于所述用户的多视角动态影像数据；
步骤S102，在所述用户进行线上学习过程中，采用麦克风阵列对所述用户进行多方位录音，从而获得关于所述用户的多方位声音数据；
步骤S103，从所述多视角动态影像数据中识别区分用户相关像素区域和背景环境相关像素区域，并对所述背景环境相关像素区域进行像素虚化处理，以此实现对所述影像数据的规范化处理；
步骤S104，对所述多方位声音数据进行背景噪声降噪滤波处理，从而消除所述多方位声音数据中的背景噪声成分，以此实现对所述声音数据的规范化处理。


3.如权利要求2所述的获取用户使用时长的方法，其特征在于：
在所述步骤S104中，对所述多方位声音数据进行背景噪声降噪滤波处理，从而消除所述多方位声音数据中的背景噪声成分，以此实现对所述声音数据的规范化处理具体为对所述多方位声音数据进行时序降噪滤波处理，从而消除所述多方位声音数据中的背景噪声成分，所述时序降噪滤波处理包括根据将多方位声音数据中的前一帧已完成降噪滤波的声音数据，加入到下一帧未完成降噪滤波的声音数据，从而实现多方位声音数据的迭代降噪滤波，其具体过程包括，
步骤S1041，利用下面公式(1)，得到时序降噪帧频比重值：



在上述公式(1)中，βi表示第i帧多方位声音数据对应的时序降噪帧频比重值，Zi-1表示第i-1帧多方位声音数据对应的频域能量值，Wi-1表示第i-1帧多方位声音数据经过降噪滤波后对应的频域能量值，且i的取值为多方位声音数据的总帧数内的任一正整数；
步骤S1042，利用下面公式(2)，对所述时序降噪帧频比重值βi进行修正



在上述公式(2)中，表示修正后的第i帧多方位声音数据对应的时序降噪帧频比重值，Zi表示第i帧多方位声音数据对应的频域能量值，Wi-1表示第i-1帧多方位声音数据经过降噪滤波后对应的频域能量值；
步骤S1043，利用下面公式(3)，得到经过降噪滤波后第i帧多方位声音数据对应的频域能量值Wi:



再重复执行上述步骤S1041-S1043，对每一帧多方位声音数据进行处理，从而多方位声音数据的迭代降噪滤波，以此消除所述多方位声音数据中的背景噪声成分。


4.如权利要求2所述的获取用户使用时长的方法，其特征在于：
在所述步骤S2中，将经过所述规范化预处理的所述影像数据和所述声音数据分别切分为若干影像片段数据和若干声音片段数据，再判断所述影像片段数据和所述声音片段数据对应的时间间隔内，所述用户是否处于有效线上学习状态具体包括，
步骤S201，按照预设时间间隔，将经过所述规范化处理的所述影像数据切分为若干具有相同时间长度的影像片段数据，以及按照所述预设时间间隔，将经过所述规范化处理的所述声音数据切分为若干具有相同时间长度的声音片段数据；
步骤S202，从所述影像片段数据中识别得到所述用户的实际视线动作，并将所述实际视线动作与预设标准视线动作范围进行比对，若两者相匹配，则确定所述影像片段数据对应的时间间隔内，所述用户处于有效线上学习状态，否则确定所述影像片段数据对应的时间间隔内，所述用户不处于有效线上学习状态；
步骤S203，根据所述用户自身的声纹特征信息，从所述声音片段数据中识别所述用户对应的语音信息数据，并识别所述语音信息数据对应的实际语义信息，再将所述实际语义信息与预设标准语义库进行比对，若两者相匹配，则确定所述声音片段数据对应的时间间隔内，所述用户处于...

【专利技术属性】
技术研发人员：许昭慧，
申请(专利权)人：上海松鼠课堂人工智能科技有限公司，
类型：发明
国别省市：上海;31