多指定位的试题拍摄方法、装置、电子设备和存储介质制造方法及图纸

本发明专利技术实施例公开了一种多指定位的试题拍摄方法、装置、电子设备和存储介质。该方法包括：在电子设备处于点读场景下，启动图像采集装置对准承载体，获取预览图像；对预览图像中的指甲进行识别，得到一个或多个指甲区域；当存在且仅存在一个指甲区域时，接收到用户的意图指令后，对承载体进行拍照，得到拍摄图像；当存在多个指甲区域时，计算指甲区域的面积以及相邻两个指甲区域之间的最小距离；当指甲区域的面积小于预设面积且最小距离均小于预设距离时，接收到用户的意图指令后，对承载体进行拍照，得到拍摄图像。实施本发明专利技术实施例，通过预览图像定位多指，利用指甲区域的面积和距离来判定是否需要执行拍照操作，实现智能化拍照的目的。

【技术实现步骤摘要】
多指定位的试题拍摄方法、装置、电子设备和存储介质
本专利技术涉及试题拍摄
，具体涉及一种多指定位的试题拍摄方法、装置、电子设备和存储介质。
技术介绍
当前很多电子教辅设备，大多具有点读场景，点读场景是指用户通过手指指向书本、练习册或试卷等承载体时，教辅设备会通过图像采集装置对承载体进行拍照，并识别手指的位置，从而根据手指位置确定用户意图，进而得到用户意图对应的图像，用于显示、搜题或者题目收录等，搜题可以是搜答案、搜读音或语义等。因为现有教辅设备是识别手指的位置，当出现多指时，例如一只手的多根手指伸展于承载体上或者两只手均放置于承载体上，其中一只手用于按压抚平承载体，现有的教辅设备均会执行拍照操作，然后识别出多个指尖位置，从而极易造成得到错误的意图图像，或者多个手指时，教辅设备不对承载体拍照，无法实现智能化。
技术实现思路
针对所述缺陷，本专利技术实施例公开了一种多指定位的试题拍摄方法、装置、电子设备和存储介质，其可以对多指进行定位，拍照更加智能化，减少误拍照或不拍照的可能性。本专利技术实施例第一方面公开一种多指定位的试题拍摄方法，所述方法包括：在电子设备处于点读场景下，启动图像采集装置对准承载体，获取预览图像；对所述预览图像中的指甲进行识别，得到一个或多个指甲区域；当存在且仅存在一个指甲区域时，接收到用户的意图指令后，对所述承载体进行拍照，得到拍摄图像；当存在多个指甲区域时，计算所述指甲区域的面积以及相邻两个指甲区域之间的最小距离；当所述指甲区域的面积小于预设面积且所述最小距离均小于预设距离时，接收到用户的意图指令后，对所述承载体进行拍照，得到拍摄图像。作为一种可选的实施方式，在本专利技术实施例第一方面中，对所述预览图像中的指甲进行识别，得到一个或多个指甲区域，包括：利用肤色分割方法或基于机器学习的指甲识别模型对所述预览图像中的指甲进行识别。作为一种可选的实施方式，在本专利技术实施例第一方面中，计算所述指甲区域的面积，包括：获取每个指甲区域的像素点数；计算所有指甲区域的像素点之和；所述指甲区域的面积小于预设面积，包括：所述像素点之和小于预设像素点个数。作为一种可选的实施方式，在本专利技术实施例第一方面中，所述方法，还包括：获取所述指甲区域中纵坐标最大的像素点，并将所述纵坐标最大的像素点作为目标坐标；利用所述目标坐标和拍摄图像以及用户的意图指令获取目标图像。作为一种可选的实施方式，在本专利技术实施例第一方面中，在所述用户的意图指令针对题目时，所述利用所述目标坐标和拍摄图像以及用户的意图指令获取目标图像，包括：将所述拍摄图像输入实例分割模型，获取每一题目的文本边框；在所述目标坐标落入其中一个文本边框内时，将所述其中一个文本边框作为目标文本边框；在所述目标坐标落入多个文本边框内时，将所述多个文本边框中置信度最大的一个文本边框作为目标文本边框；在所述目标坐标未落入任何一个文本边框时，将与目标坐标最近的文本边框作为目标文本边框；根据所述目标文本边框对所述拍摄图像进行分割，得到目标图像，所述目标图像为目标文本边框内的拍摄图像部分。作为一种可选的实施方式，在本专利技术实施例第一方面中，在所述用户的意图指令针对词语时，所述利用所述目标坐标和拍摄图像以及用户的意图指令获取目标图像，包括：将所述拍摄图像输入文本行检测模型，获取拍摄图像每一个文本行的文本行轮廓；在所述目标坐标落入其中一个文本行轮廓内时，将所述其中一个文本行轮廓作为目标文本行轮廓；在所述目标坐标落入多个文本行轮廓内时，将所述多个文本行轮廓中置信度最大的一个文本行轮廓作为目标文本行轮廓；在所述目标坐标未落入任何一个文本行轮廓时，将与目标坐标最近的文本行轮廓作为目标文本行轮廓；根据所述目标文本行轮廓对所述拍摄图像进行分割，得到目标图像，所述目标图像为目标文本行轮廓内的拍摄图像部分。本专利技术实施例第二方面公开一种多指定位的试题拍摄装置，所述装置包括：预览单元，用于在电子设备处于点读场景下，启动图像采集装置对准承载体，获取预览图像；识别单元，用于对所述预览图像中的指甲进行识别，得到一个或多个指甲区域；第一判断单元，用于当存在且仅存在一个指甲区域时，接收到用户的意图指令后，对所述承载体进行拍照，得到拍摄图像；第二判断单元，用于当存在多个指甲区域时，计算所述指甲区域的面积以及相邻两个指甲区域之间的最小距离；当所述指甲区域的面积小于预设面积且所述最小距离均小于预设距离时，接收到用户的意图指令后，对所述承载体进行拍照，得到拍摄图像。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述识别单元，包括：利用肤色分割方法或基于机器学习的指甲识别模型对所述预览图像中的指甲进行识别。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述第二判断单元，包括：第一计算子单元，用于获取每个指甲区域的像素点数；第二计算子单元，用于计算所有指甲区域的像素点之和；比对子单元，用于所述像素点之和小于预设像素点个数。作为一种可选的实施方式，在本专利技术实施例第二方面中，所述装置还包括获取单元，所述获取单元，包括：检测子单元，用于获取所述指甲区域中纵坐标最大的像素点，并将所述纵坐标最大的像素点作为目标坐标；目标图像获取子单元，用于利用所述目标坐标和拍摄图像以及用户的意图指令获取目标图像。本专利技术实施例第三方面公开一种电子设备，包括：存储有可执行程序代码的存储器；与所述存储器耦合的处理器；所述处理器调用所述存储器中存储的所述可执行程序代码，用于执行本专利技术实施例第一方面公开的一种多指定位的试题拍摄方法的部分或全部步骤。本专利技术实施例第四方面公开一种计算机可读存储介质，其存储计算机程序，其中，所述计算机程序使得计算机执行本专利技术实施例第一方面公开的一种多指定位的试题拍摄方法的部分或全部步骤。本专利技术实施例第五方面公开一种计算机程序产品，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本专利技术实施例第一方面公开的一种多指定位的试题拍摄方法的部分或全部步骤。本专利技术实施例第六方面公开一种应用发布平台，所述应用发布平台用于发布计算机程序产品，其中，当所述计算机程序产品在计算机上运行时，使得所述计算机执行本专利技术实施例第一方面公开的一种多指定位的试题拍摄方法的部分或全部步骤。与现有技术相比，本专利技术实施例具有以下有益效果：本专利技术实施例中，在电子设备处于点读场景下，启动图像采集装置对准承载体，获取预览图像；对所述预览图像中的指甲进行识别，得到一个或多个指甲区域；当存在且仅存在一个指甲区域时，接收到用户的意图指令后，对所述承载体进行拍照，得到拍摄图像；当存在多个指甲区域时，计算所述指甲区域的面积以及相邻两个指甲区域之间的最小距离；当所述指甲区域的面积小于预设面积且所述最小距离均小于预设距离时，接收到用户的意图指令后本文档来自技高网...

【技术保护点】
1.一种多指定位的试题拍摄方法，其特征在于，包括：/n在电子设备处于点读场景下，启动图像采集装置对准承载体，获取预览图像；/n对所述预览图像中的指甲进行识别，得到一个或多个指甲区域；/n当存在且仅存在一个指甲区域时，接收到用户的意图指令后，对所述承载体进行拍照，得到拍摄图像；/n当存在多个指甲区域时，计算所述指甲区域的面积以及相邻两个指甲区域之间的最小距离；当所述指甲区域的面积小于预设面积且所述最小距离均小于预设距离时，接收到用户的意图指令后，对所述承载体进行拍照，得到拍摄图像。/n

【技术特征摘要】
1.一种多指定位的试题拍摄方法，其特征在于，包括：
在电子设备处于点读场景下，启动图像采集装置对准承载体，获取预览图像；
对所述预览图像中的指甲进行识别，得到一个或多个指甲区域；
当存在且仅存在一个指甲区域时，接收到用户的意图指令后，对所述承载体进行拍照，得到拍摄图像；
当存在多个指甲区域时，计算所述指甲区域的面积以及相邻两个指甲区域之间的最小距离；当所述指甲区域的面积小于预设面积且所述最小距离均小于预设距离时，接收到用户的意图指令后，对所述承载体进行拍照，得到拍摄图像。


2.根据权利要求1所述的试题拍摄方法，其特征在于，对所述预览图像中的指甲进行识别，得到一个或多个指甲区域，包括：
利用肤色分割方法或基于机器学习的指甲识别模型对所述预览图像中的指甲进行识别。


3.根据权利要求1所述的试题拍摄方法，其特征在于，计算所述指甲区域的面积，包括：
获取每个指甲区域的像素点数；
计算所有指甲区域的像素点之和；
所述指甲区域的面积小于预设面积，包括：
所述像素点之和小于预设像素点个数。


4.根据权利要求1-3任一项所述的试题拍摄方法，其特征在于，所述方法，还包括：
获取所述指甲区域中纵坐标最大的像素点，并将所述纵坐标最大的像素点作为目标坐标；
利用所述目标坐标和拍摄图像以及用户的意图指令获取目标图像。


5.根据权利要求4所述的试题拍摄方法，其特征在于，在所述用户的意图指令针对题目时，所述利用所述目标坐标和拍摄图像以及用户的意图指令获取目标图像，包括：
将所述拍摄图像输入实例分割模型，获取每一题目的文本边框；
在所述目标坐标落入其中一个文本边框内时，将所述其中一个文本边框作为目标文本边框；
在所述目标坐标落入多个文本边框内时，将所述多个文本边框中置信度最大的一个文本边框作为目标文本边框；
在所述目标坐标未落入任何一个文本边框时，将与目标坐标最近的文本边框作为目标文本边框；
根据所述目标文本边框对所述拍摄图像进行分割，得到目标图像，所述目标图像为目标文本边框内的拍摄图像部分。


6.根据权利要求4所述的试题拍摄方法，其特征在于，在所述用户的意图指令针对词语时，所述利用所述目标坐标和拍摄图像以及用户的意图指令获取目标图像，包括：
将所述拍摄图像输入文本行检测模型，获取拍摄图像每一个文本行的文本行轮廓；
在所述目标坐标落入其中一个文...

【专利技术属性】
技术研发人员：李俊，
申请(专利权)人：广东小天才科技有限公司，
类型：发明
国别省市：广东;44