【技术实现步骤摘要】
本申请涉及自然语言处理，尤其涉及一种文本处理方法、设备、介质及产品。
技术介绍
1、在人工智能背景下，自然语言处理也逐渐走向智能化和规模化，并且随着互联网的普及，文本数据处理也成为研究重点。
2、目前现有技术对文本数据进行段落切分时，未能考虑信息密度分布以及语义完整性，从而导致切分后的段落有效性低，无法用于后续数据分析等操作。
3、因此亟需一种可量化段落信息丰富程度的文本处理方法以解决上述技术问题。
技术实现思路
1、本申请提供了一种文本处理方法、设备、介质及产品，以至少解决相关技术中的问题。
2、本申请提供了一种文本处理方法，包括：
3、按照单位步长遍历选取原始文本段落中的单位文本数据为候选文本数据；
4、添加候选文本数据至当前段落以获取扩展段落，当前段落的初始状态为空；
5、根据第一预设公式计算扩展段落对应第一平衡熵及当前段落对应的第二平衡熵；
6、根据第一平衡熵和第二平衡熵确定扩展段落相对于当前段落的
本文档来自技高网...
【技术保护点】
1.一种文本处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述响应于未检测到满足所述第一分段条件之后，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述响应于未检测到满足所述第一分段条件以及所述响应于未检测到满足所述第二分段条件之后，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述遍历完原始文本段落之后，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，
6.根据权利要求4所述的方法，其特征在于，所述根据所述熵增及所述当前段落的文本长度...
【技术特征摘要】
1.一种文本处理方法，其特征在于，所述方法包括：
2.根据权利要求1所述的方法，其特征在于，所述响应于未检测到满足所述第一分段条件之后，所述方法还包括：
3.根据权利要求2所述的方法，其特征在于，所述响应于未检测到满足所述第一分段条件以及所述响应于未检测到满足所述第二分段条件之后，所述方法还包括：
4.根据权利要求1所述的方法，其特征在于，所述遍历完原始文本段落之后，所述方法还包括：
5.根据权利要求1所述的方法，其特征在于，
6.根据权利要求4所述的方法，其特征在于，所述根据所述熵增及所述当前段落的文本长度判断是否满足第一分段条件，包括：
7.根据权利要求6所述的方法，其特征在于，所述输出所述当前段落内的一个或多个单位文本数据为第一段落并设置所述当前段落为待定状态，包括：
8.根据权利要求7所述的方法，其特征在于，所述计算与所述第一段落匹配的待重叠单位...
【专利技术属性】
技术研发人员：王棣，
申请(专利权)人：苏州元脑智能科技有限公司，
类型：发明
国别省市：
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。