一种盲文点辅助标注方法及系统技术方案

本发明专利技术涉及一种盲文点辅助标注方法及系统，包括：利用采集设备获取纸版盲文的数字化图像；根据盲文自动标注算法确定该数字化图像的盲文方位置，生成包含该盲文点位置和该盲文方位置的盲文图像；将该盲文方位置显示在屏幕上；通过交互式设备在该屏幕上点选需要修改的盲文方作为待修改盲文方；对该待修改盲文方的信息进行修改；移动该待修改盲文方位置至下一个需要修改的盲文方，或选取下一个需要修改的盲文方，直到对该盲文图像的全部需要修改的盲文方完成修改。由此本发明专利技术可对计算机自动标注后的盲文信息进行标注完善，以实现对盲文点的辅助标注。

【技术实现步骤摘要】
一种盲文点辅助标注方法及系统
本专利技术涉及盲文标注领域，特别涉及一种盲文点辅助标注方法及系统。
技术介绍
视力残疾人士由于视觉障碍，无法像明眼人一样获取明文信息，主要通过触摸盲文点字符号来阅读盲文获取信息。目前流通的盲文图书数量还较少，无法满足盲人朋友的阅读需求。另一方面，盲文图书馆典藏了很多早期有价值的盲文图书和文献，这些图书由于缺乏盲文的数字化信息，导致再版的人工成本昂贵。而且，在特殊教育领域，盲生试卷的编制和阅卷，还是采用盲文老师手工翻译的方式，耗时费力，缺乏客观性。因此，针对纸质盲文图像的盲文点字自动检测和识别技术具有重要意义。而为了测试盲文点字检测方法的检测性能，或者获取用于机器学习的盲文点字图像样本，都需要对盲文图像中的盲文点进行人工标注。盲文俗称“点字”或“凸字”，由法国人路易·布莱尔于1824年专利技术，是一种依靠触觉感知的文字。盲文图书的一页大概有1000到2000个盲文凸点。盲文的基本组成单位是盲方或者盲符，每个盲方有6个点位，分布在三行两列的矩阵上，根据相应的点位上是否有凸点来代表不同的盲方。盲方根据“国家盲文标准”，按照一定的方距和行距进行排列，组成盲文。为了节约纸张，盲文图书一般采用双面打印方式，即我们得到的盲文图像即含有当前页的凸点区域，又包含凹点区域。凸点和凹点区域会有一定的错位现象，但是在双面盲文的点字密集区域，凸点和凹点往往交错在一起，导致盲文点字的图像表观呈现多样性特点，凹凸点的外观形态也会发生极大的变化，这给双面盲文的人工标注带来极大的困难和挑战，标注时间成本非常高，而且容易由于人的疲劳导致标注错误。而且，当需要标注新的盲文书籍，或者盲文试卷的时候。如果我们已经有了一个盲点检测的分类器，该分类器可以辅助我们进行新盲文图像的快速标注，即由机器先进行标注，人工再进行修正，从而提升标注效率，减少人工标注劳动量。目前，这方面还缺乏相关的技术方案。
技术实现思路
为了解决上述问题，本专利技术提出了一种盲点辅助标注方法及系统。具体地说，本专利技术公开了一种盲文点辅助标注方法，其中包括：步骤1、利用采集设备获取纸版盲文的数字化图像；步骤2、根据盲文自动标注算法确定该数字化图像的盲文方位置，生成包含该盲文点位置和该盲文方位置的盲文图像；步骤3、为该盲文图像进行交互式辅助修改；其中该步骤3包括：步骤31、将该盲文方位置显示在屏幕上；步骤32、通过交互式设备在该屏幕上点选需要修改的盲文方作为待修改盲文方；步骤33、对该待修改盲文方的信息进行修改；步骤34、移动该待修改盲文方位置至下一个需要修改的盲文方，或执行该步骤32选取下一个需要修改的盲文方，重复执行该步骤33直到对该盲文图像的全部需要修改的盲文方完成修改。该盲文点辅助标注方法，其中步骤1中该采集设备包括扫描仪、摄像机或盲文图像采集仪器；该纸版盲文包括凸点和/或凹点形式的盲文点。该盲文点辅助标注方法，其中步骤2中该盲文自动标注算法包括：训练SVM或者随机森林分类器，并使用训练完成的该SVM或者该随机森林分类器采用滑动窗口方式确定该数字化图像的盲文方位置；或通过图像分割法，将该数字化图像的盲文点进行前景和背景的分割，得到盲文点位置，并根据该盲文点位置得到该数字化图像的盲文方位置。该盲文点辅助标注方法，其中该步骤33包括：对该待修改盲文方的位置进行微调；和/或删除该该待修改盲文方的标注信息；和/或对该待修改盲文方内盲文点进行填充。该盲文点辅助标注方法，其中该交互式设备包括键盘、鼠标、触控板。本专利技术还提出了一种盲文点辅助标注系统，其中包括：采集模块，用于通过采集设备获取纸版盲文的数字化图像；标注模块，用于根据盲文自动标注算法确定该数字化图像的盲文方位置，生成包含该盲文点位置和该盲文方位置的盲文图像；辅助修改模块，用于为该盲文图像进行交互式辅助修改；其中该辅助修改模块包括：点选模块，用于将该盲文方位置显示在屏幕上，通过交互式设备在该屏幕上点选需要修改的盲文方作为待修改盲文方对该待修改盲文方的信息进行修改；移动该待修改盲文方位置至下一个需要修改的盲文方，或选取下一个需要修改的盲文方，直到对该盲文图像的全部需要修改的盲文方完成修改。该盲文点辅助标注系统，其中该采集设备包括扫描仪、摄像机或盲文图像采集仪器；该纸版盲文包括凸点和/或凹点形式的盲文点。该盲文点辅助标注系统，其中该盲文自动标注算法包括：训练SVM或者随机森林分类器，并使用训练完成的该SVM或者该随机森林分类器采用滑动窗口方式确定该数字化图像的盲文方位置；或通过图像分割法，将该数字化图像的盲文点进行前景和背景的分割，得到盲文点位置，并根据该盲文点位置得到该数字化图像的盲文方位置。该盲文点辅助标注系统，其中该点选模块包括：对该待修改盲文方的位置进行微调；和/或删除该该待修改盲文方的标注信息；和/或对该待修改盲文方内盲文点进行填充。该盲文点辅助标注系统，其中该交互式设备包括键盘、鼠标、触控板。由此本专利技术可对计算机自动标注后的盲文信息进行标注完善，以实现对盲文点的辅助标注。附图说明图1为双面盲文图像截图；图2为以点的形式在屏幕上显示盲文方对应盲文点位置的示意图；图3为以“日”字的交叉点形式在屏幕上显示盲文方对应盲文点位置的示意图；图4为已标注完成的盲文方示意图；图5为选择盲文方进行删除的示意图；图6为凸点和凹点的标注结果展示图；图7为基于级联分类器的凸点检测结果展示图；图8为盲文方定位结果示意图；图9为初始的计算机盲文点检测结果图；图10为本专利技术主要步骤框图。具体实施方式为让本专利技术的上述特征和效果能阐述的更明确易懂，下文特举实施例对上述各步骤进行展开描述，并配合说明书附图作详细说明如下。如图10所示，本专利技术包括：步骤1，盲文图像采集：利用采集设备获取纸版盲文的数字化图像。采集方式可以包括扫描仪扫描，摄像机拍照，或者特殊的盲文图像采集仪器等方式。该纸版盲文包括凸点和/或凹点形式的盲文点，纸版盲文可以包括盲文图书或者盲文试卷等，可以是单面印刷或者双面印刷的盲文。单面印刷的盲文每页只包含凸点或者凹点一种形式的盲文点，双面印刷的盲文每页包含凸点和凹点两种形式的盲文点。例如，图1显示了采用扫描仪扫描得到的双面盲文图像的截图，既有凸点又有凹点，在文字密集区，凸点和凹点交互在一起。步骤2，根据盲文自动标注算法确定该数字化图像的盲文点位置和盲文方位置，生成包含该盲文点位置和该盲文方位置的盲文图像；其中该盲文自动标注算法包括：提取已标注好的训练样本中的灰度特征，或者HOG方向直方图特征，或者LBP二值纹理特征等特征向量，训练SVM或者随机森林分类器，并使用训练完成的该SVM或者该随机森林分类器采用滑动窗口方式确定该数字化图像的盲文方位置；或通过图像分割法，将该数字化图像的盲文点进行前景和背景的分割，得到盲文点位置，并根据该盲文点位置得到该数字化图像的盲文方位置。如果是单面图像就可以直接到的凸点或者凹点信息。如果是双面图像，需要进一步利用特征进行区分凸点还是凹点，从而得到盲文图像上的凸点位置信息。步骤3，为该盲文图像进行交互式辅助修改，实现盲文点计算机辅助标注：当需要标注新的盲文书籍，或者盲文试卷的时候。如果已经有了一个盲文点检测的分类器，该分类器可以辅助用户进行新盲文图像的快速标注，即由机器先进行标注，人工再进行本文档来自技高网...

【技术保护点】
一种盲文点辅助标注方法，其特征在于，包括：步骤1、利用采集设备获取纸版盲文的数字化图像；步骤2、根据盲文自动标注算法确定该数字化图像的盲文方位置，生成包含该盲文点位置和该盲文方位置的盲文图像；步骤3、为该盲文图像进行交互式辅助修改；其中该步骤3包括：步骤31、将该盲文方位置显示在屏幕上；步骤32、通过交互式设备在该屏幕上点选需要修改的盲文方作为待修改盲文方；步骤33、对该待修改盲文方的信息进行修改；步骤34、移动该待修改盲文方位置至下一个需要修改的盲文方，或执行该步骤32选取下一个需要修改的盲文方，重复执行该步骤33直到对该盲文图像的全部需要修改的盲文方完成修改。

【技术特征摘要】
1.一种盲文点辅助标注方法，其特征在于，包括：步骤1、利用采集设备获取纸版盲文的数字化图像；步骤2、根据盲文自动标注算法确定该数字化图像的盲文方位置，生成包含该盲文点位置和该盲文方位置的盲文图像；步骤3、为该盲文图像进行交互式辅助修改；其中该步骤3包括：步骤31、将该盲文方位置显示在屏幕上；步骤32、通过交互式设备在该屏幕上点选需要修改的盲文方作为待修改盲文方；步骤33、对该待修改盲文方的信息进行修改；步骤34、移动该待修改盲文方位置至下一个需要修改的盲文方，或执行该步骤32选取下一个需要修改的盲文方，重复执行该步骤33直到对该盲文图像的全部需要修改的盲文方完成修改。2.如权利要求1所述的盲文点辅助标注方法，其特征在于，步骤1中该采集设备包括扫描仪、摄像机或盲文图像采集仪器；该纸版盲文包括凸点和/或凹点形式的盲文点。3.如权利要求1所述的盲文点辅助标注方法，其特征在于，步骤2中该盲文自动标注算法包括：训练SVM或者随机森林分类器，并使用训练完成的该SVM或者该随机森林分类器采用滑动窗口方式确定该数字化图像的盲文方位置；或通过图像分割法，将该数字化图像的盲文点进行前景和背景的分割，得到盲文点位置，并根据该盲文点位置得到该数字化图像的盲文方位置。4.如权利要求1所述的盲文点辅助标注方法，其特征在于，该步骤33包括：对该待修改盲文方的位置进行微调；和/或删除该该待修改盲文方的标注信息；和/或对该待修改盲文方内盲文点进行填充。5.如权利要求1所述的盲文点辅助标注方法，其特征在于，该交互式设备...

【专利技术属性】
技术研发人员：刘宏，王向东，钱跃良，
申请(专利权)人：中国科学院计算技术研究所，
类型：发明
国别省市：北京,11