一种基于中草药图文模态数据的图片标注方法技术

本发明专利技术公开了一种基于中草药图文模态数据的图片标注方法，该方法包括以下步骤：S1、从中草药图文图像数据中提取图文标注对；S2、将类别标签与图像进行单独提取制作中草药图文标注数据集；S3、搭建语义一致性约束的中草药关联标注算法模型，并进行训练。通过图文模态数据中提取出图片和标签对，利用Sobel算子提取图片的边缘二值图以及OTSU算法提取图片的前背景阈值等方式，得到中草药原始形态和药用形态的两组数据集。配合搭建的单一形态算法及双层算法模型系统并利用该系统，提供与实现中草药图文数据的加工，处理，展示，收集等功能，并且利用收集到的数据不断优化算法的准确率，大大提高识别效果。大大提高识别效果。大大提高识别效果。

A method of image annotation based on modal data of Chinese herbal medicine

【技术实现步骤摘要】
一种基于中草药图文模态数据的图片标注方法


[0001]本专利技术涉及图像标注
，具体来说，涉及一种基于中草药图文模态数据的图片标注方法。

技术介绍

[0002]中草药作为中华传统文化的重要组成部分蕴含着丰富的文化符号和文化内涵，随着文化大数据时代的来临，中草药数据也具有了丰富的数字化资源，融合科技与文化去探索中草药中所蕴含的文化内容是被广泛提及的课题，利用标注的方法对中草药的类别和功能进行分析是一种能够实现文化识别、文化解读、文化传承的科学技术方法。
[0003]中药主要由植物药、动物药和矿物药组成。因植物药占中药的大多数，所以中药也称中草药。中国各地使用的中药已达5000种左右，把各种药材相配伍而形成的方剂，更是数不胜数。经过几千年的研究，形成了一门独立的科学——本草学。研究中草药关联标注算法的意义在于可以使中草药植物工作者从繁琐的重复性的工作中解放出来，降低人力的成本，让中草药植物工作者把更多时间与精力花在有价值的中草药研究中。
[0004]中草药的图片数据存在着两种模态，第一种为中草药的原始形态，一般表现为野外植物，本文档来自技高网...

【技术保护点】

【技术特征摘要】
1.一种基于中草药图文模态数据的图片标注方法，其特征在于，该方法包括以下步骤：S1、从中草药图文图像数据中提取图文标注对；S2、将类别标签与图像进行单独提取制作中草药图文标注数据集；S3、搭建语义一致性约束的中草药关联标注算法模型，并进行训练。2.根据权利要求1所述的一种基于中草药图文模态数据的图片标注方法，其特征在于，所述从图文图像数据中提取图文标注对，包括以下步骤：S11、对图文图像数据中图片进行提取与二值化处理；S12、连接临近的连通域，获取子图掩膜，对剩余文字进行提取；S13、通过光学字符识别技术识别提取出的文字，输出识别结果；S14、利用自然语言处理技术关键词提取技术进行语义解析和语义拆分，获取图文结果。3.根据权利要求2所述的一种基于中草药图文模态数据的图片标注方法，其特征在于，所述对图文图像数据中图片进行提取与二值化处理，包括以下步骤：S111、利用边缘检测算子提取图片的边缘二值图；S112、利用最大类间方差法算法提取图片的前背景阈值，并对图片进行二值化处理；S113、将所述边缘二值图与前背景二值化图像进行叠加得到掩膜。4.根据权利要求3所述的一种基于中草药图文模态数据的图片标注方法，其特征在于，所述连接临近的连通域，获取子图掩膜，对剩余文字进行提取，包括以下步骤：S121、利用图形学膨胀的方式打通临近的连通域；S122、通过所述连通域大小过滤文字部分，保留子图部分；S123、利用水漫法填充子图连通域，获取子图掩膜；S124、通过所述掩膜提取子图部分，并提取剩余的文字部分。5.根据权利要求4所述的一种基于中草药图文模态数据的图片标注方法，其特征在于，所述通过光学字符识别技术识别提取出的文字，输出识别结果，包括以下步骤：S131、选用卷积递归神经网络+文字识别网络结构网络模型，通过循环神经网络中的双层长短期记忆网络结构同时捕捉前向与后向信息；S132、文字识别网络转录层通过统计学原理对模型输出的结果做出判断，选择可能性最高的结果输出，得到最终识别结果。6.根据权利要求5所述的一种基于中草药图文模态数据的图片标注方法，其特征在于，所述利用自然语言处理技术关键词提取技术进行语义解析和语义拆分，获取图文结果，包括以下步骤：S141、利用文本分词技术将段落打散成多级词向量；S142...

【专利技术属性】
技术研发人员：赵海英，姜博，
申请(专利权)人：北京第二外国语学院，
类型：发明
国别省市：