基于计算机视觉的典型应用智能图文教程制作的方法及系统技术方案

本发明专利技术涉及一种基于计算机视觉的典型应用智能图文教程制作的方法及系统，该方法包括实时操作过程和录屏操作过程，实时操作过程包括：A1、获取用户操作过程中的鼠标和键盘操作，分析鼠键操作对应的典型软件操作内容；A2、对操作内容进行筛选，判定其关键程度，对包含关键文字信息的操作进行用户屏幕区域提取；A3、对提取到的区域进行文字内容识别，将用户操作画面与提取所得文字进行编排，写入文档；录屏操作过程包括：B1、对输入视频进行关键帧提取，识别录屏操作中关键内容；B2、对获取的关键帧内容进行鼠标检测，标定操作位置，整理标定操作位置后的关键帧，写入文档。该方法及系统可以有效地识别用户操作内容，智能化生成操作文档。档。档。

【技术实现步骤摘要】
基于计算机视觉的典型应用智能图文教程制作的方法及系统


[0001]本专利技术属于计算机视觉领域，具体涉及一种基于计算机视觉的典型应用智能图文教程制作的方法及系统。

技术介绍

[0002]关键帧提取即KeyFrame Extraction其主要任务是将给定视频准换为一组图像序列，找到图像序列中具有关键内容的帧，剔除大量的过渡帧。减少视频数据量过大带来的数据处理成本增加。目前学术界在关键帧提取问题上采用的主要方法包括基于聚类的分析方法和基于运动的光流分析法。
[0003]目标检测即ObjectDetection其主要任务是对给定的图片识别其中包含的目标并进行分类。目前学术界在目标检测问题上采用的主要方法包括多阶段的R
‑
CNN系列算法和单阶段的YOLO系列，SSD算法等。通过预测检测目标在图片当中的候选区域，给与候选框和分类结果置信度参数，相较于R
‑
CNN系列算法，YOLO系列算法的速度更快。

技术实现思路

[0004]本专利技术的目的在于提供一种基于计算机视觉的典型应用智能图文教程制作的方法及系统，该方法及系统可以有效地识别用户操作内容，智能化生成操作文档。
[0005]为实现上述目的，本专利技术采用的技术方案是：一种基于计算机视觉的典型应用智能图文教程制作的方法，包括实时操作过程和录屏操作过程，所述实时操作过程包括以下步骤：
[0006]步骤A1：获取用户操作过程中的鼠标和键盘操作，分析鼠标和键盘操作对应的典型软件操作内容；
[0007]步骤A2：对获取到的操作内容进行筛选，判定其关键程度，对包含关键文字信息的操作进行用户屏幕区域提取；
[0008]步骤A3：对提取到的区域进行文字内容识别，将用户操作画面与提取所得文字进行编排，写入文档；
[0009]所述录屏操作过程包括以下步骤：
[0010]步骤B1：对输入视频进行关键帧提取，识别录屏操作中关键内容，过滤多余的帧；
[0011]步骤B2：对获取到的关键帧内容进行鼠标检测，标定操作位置，整理标定操作位置后的关键帧，写入文档。
[0012]进一步地，所述步骤A1具体包括以下步骤：
[0013]步骤A11：对用户实时操作内容进行鼠标和键盘事件的检测，记录操作时的鼠标位置和键盘输入；
[0014]步骤A12：对检测结果进行分析，将用户操作分为鼠标点击操作和文字输入操作两大类别；鼠标点击操作进一步划分为左击、右击、双击、拖动；鼠标左击对应用户进行典型应用按钮单击操作，鼠标右击对应用户进行典型应用隐藏菜单栏或二级快捷菜单栏的展开；
鼠标双击对应用户进行典型应用的打开文件或文件架操作；鼠标拖动对应用户进行典型应用物体选中后位置调整操作或文字选中操作；
[0015]步骤A13：根据实时检测返回事件名称直接进行左击，右击判定；在此基础上利用前后两次左击位置判定是否进行双击，当第二次点击位置(x
sec
，y
sec
)包含于第一点击位置(x
fir
，y
fir
)加上允许用户操作时出现的偏移量Δ
d
当中，减小用户点击操作的微小抖动对判定结果产生的影响，即满足(x
sec
，y
sec
)∈(x
fir
+Δ
d
，y
fir
+Δ
d
)时，其中(x
fir
，y
fir
)表示第一次点击的像素坐标，置(x
sec，
y
sec
)表示第二次点击的像素坐标，Δ
d
表示因用户操作出现的偏移量；判定用户进行双击操作；
[0016]步骤A14：对出现的鼠标拖动操作进行进一步判定，进行用户鼠标移动位置记录，判定鼠标拖动路径是否满足水平方向或竖直方向上的直线拖动；以用户鼠标按下位置作为起点判定鼠标松开位置是否在以起点为中心的十字范围内，将属于十字范围内的鼠标拖动操作判定为文字水平或竖直方向的选中。
[0017]进一步地，所述步骤A2具体包括以下步骤：
[0018]步骤A21：截取用户进行鼠标点击操作的屏幕画面，记录鼠标点击位置；
[0019]步骤A22：截取以鼠标为中心，大小为用户屏幕二十五分之一的固定区域；将获得的固定区域图片转为灰度图，进行二值化处理；分别在水平方向和竖直方向对像素进行投影得到投影直方图T；将直方图看成长度为照片长度或宽度大小的列表T＝{p1，p2，p3...，p
n
}，p1、p2、p3至p
n
分别表示第1、2、3至n行或列的投影值，n表示图片的长或宽；判断直方图当中是否存在p值为零列；
[0020]若不存在p值为零列则进一步对直方图数据进行处理，计算方法为：
[0021]p
min
＝Min(T)＝Min{p1，p2，p3...，p
n
}
[0022]T
′
＝{(p1‑
p
min
)，(p2‑
p
min
)，(p3‑
p
min
)...，(p
n
‑
p
min
)}
[0023]其中p
min
表示投影数据当中的最小值，Min(T)表示列表T中的最小值，Min{p1，p2，p3...，p
n
}表示在p1至p
n
数值中的最小值；T
′
表示经过处理后的投影数据，将各列数值减去T中的p
min
获得零列；
[0024]步骤A23：分别选取水平投影直方图中与垂直投影直方图当中离鼠标点击位置最近的连续最大非零区域作为候选区域。
[0025]进一步地，所述步骤A3具体包括以下步骤：
[0026]步骤A31：对获得的候选区域进行文字识别；
[0027]步骤A32：截取用户操作画面，根据鼠标点击位置或文字输入位置标定红框；
[0028]步骤A33：将获取的文字和产出图片进行整合，自动生成一文一图形式的文档。
[0029]进一步地，所述步骤B1具体包括以下步骤：
[0030]步骤B11：对输入数据进行提取，将视频流转换为帧序列，对每一帧进行灰度化和高斯滤波操作；
[0031]步骤B12：采用批处理，对每相邻10帧之间进行帧间差值处理，得到差值列表；对差值列表进行平滑，采用窗口内峰值方法选取关键帧；
[0032]步骤B13：重新将输入数据转换为帧序列，保存上述各个窗口内所选取的关键帧。
[0033]进一步地，所述帧间差值处理是对前后帧间进行绝对值差分，所述前后帧表示中间相差8帧的两帧；通过帧间差值方式得到图像变化区域；帧间差值的计算方法如下：
[0034]Δ
t
(x本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于计算机视觉的典型应用智能图文教程制作的方法，其特征在于，包括实时操作过程和录屏操作过程，所述实时操作过程包括以下步骤：步骤A1：获取用户操作过程中的鼠标和键盘操作，分析鼠标和键盘操作对应的典型软件操作内容；步骤A2：对获取到的操作内容进行筛选，判定其关键程度，对包含关键文字信息的操作进行用户屏幕区域提取；步骤A3：对提取到的区域进行文字内容识别，将用户操作画面与提取所得文字进行编排，写入文档；所述录屏操作过程包括以下步骤：步骤B1：对输入视频进行关键帧提取，识别录屏操作中关键内容，过滤多余的帧；步骤B2：对获取到的关键帧内容进行鼠标检测，标定操作位置，整理标定操作位置后的关键帧，写入文档。2.根据权利要求1所述的基于计算机视觉的典型应用智能图文教程制作的方法，其特征在于，所述步骤A1具体包括以下步骤：步骤A11：对用户实时操作内容进行鼠标和键盘事件的检测，记录操作时的鼠标位置和键盘输入；步骤A12：对检测结果进行分析，将用户操作分为鼠标点击操作和文字输入操作两大类别；鼠标点击操作进一步划分为左击、右击、双击、拖动；鼠标左击对应用户进行典型应用按钮单击操作，鼠标右击对应用户进行典型应用隐藏菜单栏或二级快捷菜单栏的展开；鼠标双击对应用户进行典型应用的打开文件或文件架操作；鼠标拖动对应用户进行典型应用物体选中后位置调整操作或文字选中操作；步骤A13：根据实时检测返回事件名称直接进行左击，右击判定；在此基础上利用前后两次左击位置判定是否进行双击，当第二次点击位置(x
sec
，y
sec
)包含于第一点击位置(x
fir
，y
fir
)加上允许用户操作时出现的偏移量Δ
d
当中，减小用户点击操作的微小抖动对判定结果产生的影响，即满足(x
sec
，y
sec
)∈(x
fir
+Δ
d
，y
fir
+Δ
d
)时，其中(x
fir
，y
fir
)表示第一次点击的像素坐标，置(x
sec
，y
sec
)表示第二次点击的像素坐标，Δ
d
表示因用户操作出现的偏移量；判定用户进行双击操作；步骤A14：对出现的鼠标拖动操作进行进一步判定，进行用户鼠标移动位置记录，判定鼠标拖动路径是否满足水平方向或竖直方向上的直线拖动；以用户鼠标按下位置作为起点判定鼠标松开位置是否在以起点为中心的十字范围内，将属于十字范围内的鼠标拖动操作判定为文字水平或竖直方向的选中。3.根据权利要求2所述的基于计算机视觉的典型应用智能图文教程制作的方法，其特征在于，所述步骤A2具体包括以下步骤：步骤A21：截取用户进行鼠标点击操作的屏幕画面，记录鼠标点击位置；步骤A22：截取以鼠标为中心，大小为用户屏幕二十五分之一的固定区域；将获得的固定区域图片转为灰度图，进行二值化处理；分别在水平方向和竖直方向对像素进行投影得到投影直方图T；将直方图看成长度为照片长度或宽度大小的列表T＝{p1，p2，p3...，p
n
}，p1、p2、p3至p
n
分别表示第1、2、3至n行或列的投影值，n表示图片的长或宽；判断直方图当中是否存在p值为零列；
若不存在p值为零列则进一步对直方图数据进行处理，计算方法为：p
min
＝Min(T)＝Min{p1，p2，p3...，p
n
}T...

【专利技术属性】
技术研发人员：柯逍，苏凯婷，
申请(专利权)人：福州大学，
类型：发明
国别省市：