【技术实现步骤摘要】
【国外来华专利技术】文档处理和响应生成系统
相关申请的交叉引用
[0001]本申请要求于2020年6月25日提交的题为“文档处理和响应生成系统”的美国临时申请号63/043,906的优先权和权益，其内容通过引用整体并入本文。
技术介绍
[0002]本专利技术涉及文档处理和响应生成系统，具体涉及响应于用户查询(其可以作为自然语言问题提供)而促进从潜在大型文档存储库中快速有效地确定答案的方法。
[0003]组织经常收集用作信息存储库的大量文档，该信息存储库用于管理技术信息。例如，公司可能具有庞大的人力资源文档库，这些文档以希望一致的方式共同定义了公司的人力资源(Human Resource,HR)政策和程序。诸如公司员工之类的用户可能不得不搜索文档集合以回答诸如“我享有多少假期？”之类的问题。
[0004]在文件中存在非结构化和结构化数据的情况下，以文件为中心的处理的常见问题是，不存在丰富的自然语言接口，用户无法根据他们的需要和期望浏览文档。因此，例如，许多文档都有长页的小字体解释，如果需要，迫使用户阅读整个解释以找到用户需要的关键信息。
【技术保护点】
【技术特征摘要】
【国外来华专利技术】1.一种方法，包括：在本地设备处从远程设备接收表示问题的查询数据，所述问题与多个源文档的存储库中的源文档的源内容相关，其中，所述源内容与能够从所述本地设备访问的转换后内容相关联；以及响应于在所述本地设备处确定出所述查询数据与所述转换后内容的至少一部分之间的匹配，生成输出数据，所述输出数据包括用于在能够从所述远程设备访问的所述源文档中访问与所述转换后内容的至少一部分对应的所述源文档的至少一部分的指针或所述源文档的至少一部分的副本中的一个或更多个。2.根据权利要求1所述的方法，其中，用于访问所述源文档的至少一部分的指针包括以下中的一个或更多个：标识多个源文档的存储库中所述源文档的文档标识符、多个源文档的存储库中所述源文档的网络地址、所述源文档的至少一部分在所述源文档内的开始和结束位置、或词跨度。3.根据权利要求1所述的方法，其中，所述转换后内容的至少一部分存储在文档对象模型DOM数据项的存储库中，其中，与所述转换后内容的至少一部分对应的DOM数据项包括用于访问所述源文档的至少一部分的指针、以及以下中的一个或更多个：表示所述源内容的至少一部分的至少一个转换后元素、所述源内容的至少一部分、或与所述源内容的至少一部分关联的上下文信息。4.根据权利要求3所述的方法，其中，与所述源文档的至少一部分关联的所述上下文信息包括来自一个或更多个用户的反馈数据，所述反馈数据指示所述输出数据对与所述源文档的源内容相关的问题的响应性水平。5.根据权利要求1所述的方法，还包括：在所述本地设备处接收所述源文档的副本；将所述源文档的副本分割成多个文档片段；以及根据一个或更多个转换，将所述多个文档片段中的每一个转换成一个或更多个相应转换后片段。6.根据权利要求5所述的方法，还包括：从管理员接收标识所述源文档在所述多个源文档的存储库中的位置的信息。7.根据权利要求5所述的方法，其中，所述一个或更多个转换包括以下中的一个或更多个：用于生成表示所述多个文档片段的粗略内容的粗略数值向量的粗略线性化转换、或用于生成表示所述多个文档片段的内容的精细转换后内容记录的精细转换。8.根据权利要求7所述的方法，其中，所述粗略转换和所述精细转换中的至少一个包括基于来自转换器的双向编码器表示BERT处理的、应用于一个或更多个文档片段的转换。9.根据权利要求7所述的方法，还包括：将所述查询数据转换成能够与转换后源内容兼容的转换后查询数据。10.根据权利要求9所述的方法，还包括：利用根据第一标准与所述转换后查询数据相匹配的相应粗略数值向量来对所述转换后源内容中的一个或更多个候选部分进行识别。11.根据权利要求10所述的方法，还包括：从与基于相应数值向量识别的所述一个或更多个候选部分对应的一个或更多个精细
转换后内容记录中确定根据第二标准与所述查询数据的精细转换后数据相匹配的至少一个精细转换后内容记录。12.根据权利要求9所述的方法，还包括：利用根据第二标准与所述转换后查询数据相匹配的相应精细转换后内容记录对所述转换后源内容中的一个或更多个候选部分进行识别。13.根据权利要求5所述的方法，其中，将所述源内容分割成所述多个文档片段包括：根据一个或更多个预处理规则将所述源内容分割成所述多个文档片段。14.根据权利要求13所述的方法，其中，对所述源内容进行分割包括：根据分层规则将所述源内容分割成所述多个文档片段，所述分层规则在语义上将所述源内容的一部分与所述源内容的一个或更多个其他部分进行关联。15.根据权利要求5所述的方法，还包括：对与所接收到的源文档关联的扩增数据进行检索；以及将所述源文档和所述扩增数据的组合分割成所述多个文档片段。16.根据权利要求15所述的方法，其中，对所述扩增数据进行检索包括以下中的一个或更多个：基于包括在所述源文档中的链接对所述扩增数据进行检索；或者执行共指消解以确定所述源文档中识别出的一个或更多个名称或表达，并且对能够从所述本地设备访问的信息存储库进行搜索以对与在所述源文档中识别出的所确定的一个或更多个名称或表达关联的附加信息进行检索。17.根据权利要求1所述的方法，还包括：基于所接收到的表示所述问题的查询数据，从表示与源文档关联的多个问题的查询数据的存储库中识别一个或更多个附加问题，以应用于所述转换后内容。18.根据权利要求1所述的方法，还包括：确定所接收到的查询数据是否与预设问题中的一个相匹配；以及响应于确定出所接收到的查询数据与所述预设问题中的一个相匹配，基于与所匹配的所述预设问题中的一个关联的一个或更多个答案数据记录生成所述输出数据。19.根据权利要求1所述的方法，其中，所述本地设备位于以下中的一个：由第一方运营的第一网络或所述远程设备所在的第三网络，所述第一网络不同于所述远程设备同样所在的第二网络，所述第二网络由第二方运营。20.根据权利要求1所述的方法，还包括：在所述远程设备处将所述源文档的副本分割成多个文档片段；在所述远程设备处根据一个或更多个转换将所述多个文档片段中的每一个转换成一个或更多个相应转换后片段；以及将所述一个或更多个相应转换后片段传送到所述本地设备以存储在所述本地设备处。21.一种系统，包括：一个或更多个通信接口，被配置为从远程设备接收表示问题的查询数据，所述问题与多个源文档的存储库中的源文档的源内容相关，其中，所述源内容与能够从所述系统访问的转换后内容相关联；以及查询引擎，被配置为响应于确定出所述查询数据与所述转换后内容的至少一部分之间
的匹配而生成输出数据，所述输出数据包括用于在能够从所述远程设备访问的所述源文档中访问与所述转换后内容的至少一部分对应的所述源文档的至少一部分的指针或所述源文档的至少一部分的副本中的一个或更多个。22.根据权利要求21所述的系统，还包括：摄取引擎，被配置为：将经由所述一个或更多个接口接收的所述源文档的副本分割成多个文档片段；以及根据一个或更多个转换，将所述多个文档片段中的每一个转换成一个或更多个相应转换后片段。23.根据权利要求22所述的系统，其中，所述一个或更多个转换包括以下中的一个或更多个：用于生成表示所述多个文档片段的粗略内容的粗略数值向量的粗略线性化转换、或用于生成表示所述多个文档片段的内容的精细转换后内容记录的精细转换。24.根据权利要求22所述的系统，还包括：查询处理模块，被配置为：将所述查询数据转换成能够与转换后源内容兼容的转换后查询数据；利用根据第一标准与所述转换后查询数据匹配的相应粗略数值向量，对所述转换后源内容中的一个或更多个候选部分进行识别；以及从与基于相应数值向量识别出的所述一个或更多个候选部分对应的一个或更多个精细转换后内容记录中确定根据第二标准与所述查询数据的精细转换后数据匹配的至少一个精细转换后内容记录。25.根据权利要求22所述的系统，其中，被配置为对所述源内容进行分割的所述摄取引擎被配置为：根据一个或更多个预处理规则，将所述源内容分割成所述多个文档片段，所述一个或更多个预处理规则包括一个或更多个分层规则，所述分层规则在语义上将所述源内容的一部分与所述源内容的一个或更多个其他部分进行关联。26.根据权利要求22所述的系统，其中，所述摄取引擎还被配置为：对与所接收到的源文档关联的扩增数据进行检索；以及将所述源文档和所述扩增数据的组合分割成所述多个文档片段。27.根据权利要求21所述的系统，其中，所述查询引擎还被配置为：基于所接收到的表示所述问题的查询数据，从表示与源文档关联的多个问题的查询数据的存储库中识别一个或更多个附加问题，以应用于所述转换后内容。28.根据权利要求21所述的系统，其中，所述查询引擎还被配置为：确定所接收到的查询数据是否与预设问题中的一个相匹配；以及响应于确定出所接收到的查询数据与所述预设问题中的一个相匹配，基于与所匹配的所述预设问题中的一个关联的一个或更多个答案数据记录来生成所述输出数据。29.根据权利要求21所述的系统，还包括所述远程设备，其中，所述系统位于以下中的一个：由第一方运营的第一网络或所述远程设备所在的第三网络，所述第一网络不同于所述远程设备所在的第二网络，所述第二网络由第二方运营。30.一种利用指令编程的非暂时性计算机可读介质，所述指令能够在计算系统的一个或更多个处理器上执行，以：
在本地设备处从远程设备接收表示问题的查询数据，所述问题与多个源文档的存储库中的源文档的源内容相关，其中，所述源内容与能够从所述本地设备访问的转换后内容相关联；以及响应于在所述本地设备处确定出所述查询数据与所述转换后内容的至少一部分之间的匹配，生成输出数据，所述输出数据包括用于在能够从所述远程设备访问的所述源文档中访问与所述转换后内容的至少一部分对应的所述源文档的至少一部分的指针或所述源文档的至少一部分的副本中的一个或更多个。31.一种方法，包括：在本地设备处从远程设备接收表示与源文档的源内容相关的问题的查询数据；根据一个或更多个匹配标准，确定保持在所述本地设备处的问答高速缓存中所存储的一个或更多个预设问题是否与所述查询数据匹配；以及响应于确定出所述预设问题中的至少一个与从所述远程设备接收的查询数据相匹配，从所述问答高速缓存中获取与至少一个预设问题相关联的、对应于与所述源内容相关的问题的答案的至少一个答案数据项。32.根据权利要求31所述的方法，其中，从所述问答高速缓存中获取至少一个答案数据项包括：至少获取用于从能够从所述远程设备访问的所述源文档的副本中访问所述源文档的副本的至少一部分的指针，所述源文档的副本的至少一部分对应于与所述源内容有关的问题的答案。33.根据权利要求31所述的方法，其中，从所述问答高速缓存中获取至少一个答案数据项包括：获取以下中的一个或更多个：所述源内容的至少一部分或所述源内容的至少一部分的概要。34.根据权利要求31所述的方法，还包括：响应于从用户接收到表示相应答案的数据项的一部分代表对特定问题的满意响应的指示，将表示所述特定问题和所述相应答案对的数据项存储在所述问答高速缓存中。35.根据权利要求31所述的方法，还包括：在所述本地设备处获取替代答案数据以替代在所述本地设备处响应于特定问题而确定的初始答案数据，其中，所述初始答案被用户确定为对所述特定问题的不满意响应；以及将表示所述特定问题和所述替代答案对的数据项存储在所述问答高速缓存中。36.根据权利要求31所述的方法，还包括：响应于确定出存储在所述问答高速缓存中的所述预设问题都不与从所述远程设备接收的所述查询数据相匹配，在所述本地设备处搜索文档存储，以根据所述查询数据识别多个文档对象中的一个或更多个，其中所述文档存储包括与一个或更多个源文档对应的转换后内容的多个文档对象；以及响应于在所述本地设备处确定出所述查询数据与所述转换后内容的至少一部分之间的匹配，基于所述转换后内容的至少一部分生成输出数据。37.根据权利要求36所述的方法，其中，所述输出数据至少包括用于在能够从所述远程设备访问的所述源文档的副本中访问与所述转换后内容的至少一部分对应的所述源文档
的副本的至少一部分的指针。38.根据权利要求36所述的方法，还包括：在所述文档存储处存储所述多个文档对象，包括：在所述本地设备处接收一个或更多个源文档；将所述一个或更多个源文档分割成多个文档片段；根据一个或更多个转换将所述多个文档片段中的每一个转换成一个或更多个相应转换后片段；以及将所述转换后片段整理成所述多个文档对象。39.根据权利要求31所述的方法，还包括：基于所接收的表示所述问题的查询数据，从表示与源文档关联的多个问题的查询数据的存储库中识别一个或更多个附加问题；以及生成附加输出数据，所述附加输出数据包括响应于所识别的一个或更多个附加问题中的至少一个的附加答案数据。40.根据权利要求39所述的方法，还包括：基于以下中的一个或更多个来获取所述一个或更多个附加问题：从所述本地设备和/或所述远程设备的一个或更多个用户接收的输入数据、或与所识别的对所述查询数据的响应相关联的元数据，其中所述查询数据根据存储在所述本地设备处的、与所述源文档关联的文档对象来确定；以及在所述查询数据的存储库中存储表示所述一个或更多个附加问题的一个或更多个附加问题数据项。41.根据权利要求31所述的方法，其中，根据一个或更多个匹配标准确定保持在所述本地设备处的问答高速缓存中所存储的一个或更多个预设问题是否与所述查询数据相匹配包括：确定所述查询数据的语言含义；确定所述查询数据与所述问答高速缓存中的所述预设问题中至少一些的相应含义之间的含义相似度水平；以及当所述查询数据与所述一个或更多个预设问题中至少一个的相应含义之间的含义相似度水平超过预设相似度阈值时，确定所述一个或更多个预设问题中的至少一个与所述查询数据相匹配。42.根据权利要求31所述的方法，还包括：确定所述查询数据与预设命令中的一个相匹配，所述预设命令与在所述本地设备处针对所述源文档执行的相应处理相关联；以及执行与确定为与所述查询数据匹配的所述预设命令中的一个相关联的预设处理。43.根据权利要求42所述的方法，其中，确定所述查询数据与预设命令中的一个相匹配包括：确定所述查询数据与被配置为使得生成所述源文档的至少一部分的概要的概要命令相匹配。44.根据权利要求31所述的方法，还包括：基于与所述查询数据对应的问题生成一个或更多个扩增问题。
45.根据权利要求44所述的方法，其中，生成所述一个或更多个扩增问题包括：基于以下中的一个或更多个来对由所述查询数据表示的问题进行修改：a)改变所述问题中用词的顺序或b)利用从同义词数据记录中被识别为所述问题中的一个或更多个词的同义词或等同词的替换词来替换所述问题中的一个或更多个词。46.根据权利要求44所述的方法，还包括：在所述本地设备处搜索包括与一个或更多个源文档对应的转换后内容的多个文档对象的文档存储，以根据所述一个或更多个扩增问题对所述多个文档对象中的一个或更多个进行识别。47.根据权利要求31所述的方法，其中，根据所述一个或更多个匹配标准来确定保持在所述本地设备处维护的问答高速缓存中所存储的一个或更多个预设问题是否与所述查询数据相匹配包括：根据一个或更多个转换，将所述查询数据转换成转换后查询；以及将所述转换后查询与存储在所述问答高速缓存中的转换后问答项进行匹配，其中，所述转换后问答项中的每一个包括根据所述一个或更多个转换对一个或更多个问题和相应一个或更多个答案进行转换所产生的转换后数据。48.根据权利要求47所述的方法，其中，所述转换后问答项包括对所述一个或更多个问题和所述相应一个或更多个答案进行基于来自转换器的双向编码器表示BERT的转换所产生的转换后数据。49.一种系统，包括：通信单元，被配置为从远程设备接收表示与源文档的源内容相关的问题的查询数据；问答高速缓存存储设备，被配置为存储预设问题；以及控制器，电气耦接至所述通信单元和所述问答高速缓存存储设备，所述控制器被配置为：根据一个或更多个匹配标准来确定存储在问答高速缓存中的所述预设问题中的一个或更多个是否与所述查询数据相匹配；以及响应于确定出所述预设问题中的至少一个与从所述远程设备接收到的查询数据相匹配，从所述问答高速缓存中获取与至少一个预设问题关联的、对应于与所述源内容相关的问题的答案的至少一个答案数据项。50.根据权利要求49所述的系统，其中，被配置为从所述问答高速缓存中获取至少一个答案数据项的所述控制器被配置为：获取以下中的一个或更多个：从能够从所述远程设备访问的所述源文档的副本中访问对应于与所述源内容相关的问题的答案的所述源文档的副本的至少一部分的指针、所述源内容的至少一部分、或所述源内容的至少一部分的概要。51.根据权利要求49所述的系统，其中，所述控制器还被配置为：响应于从用户接收到表示相应答案的数据项的一部分代表对特定问题的满意响应的指示，使得在所述问答高速缓存中存储表示所述特定问题和所述相应答案对的数据项。52.根据权利要求49所述的系统，其中，所述控制器还被配置为：获取替代答案数据以替代响应于特定问题而确定的初始答案数据，其中，所述初始答案被用户确定为对所述特定问题的不满意响应；以及
使得在所述问答高速缓存中存储表示所述特定问题和所述替代答案对的数据项。53.根据权利要求49所述的系统，其中，所述控制器还被配置为：响应于确定出所述问答高速缓存中存储的所述预设问题都不与从所述远程设备接收到的所述查询数据相匹配，搜索包括与一个或更多个源文档对应的转换后内容的多个文档对象的文档存储，以根据所述查询数据识别所述多个文档对象中的一个或更多个；以及响应于确定出所述查询数据与所述转换后内容的至少一部分之间的匹配，基于所述转换后内容的至少一部分生成输出数据。54.根据权利要求49所述的系统，其中，所述控制器还被配置为：基于所接收到的表示所述问题的查询数据，从表示与源文档关联的多个问题的查询数据的存储库中识别一个或更多个附加问题；以及生成附加输出数据，所述附加输出数据包括响应于所识别的一个或更多个附加问题中的至少一个的附加答案数据。55.根据权利要求49所述的系统，其中，被配置为根据一个或更多个匹配标准来确定存储在所述问答高速缓存中的一个或更多个预设问题是否与所述查询数据相匹配的所述控制器被配置为：确定所述查询数据的语言含义；确定所述查询数据与所述问答高速缓存中的所述预设问题中的至少一些的相应含义之间的含义相似度水平；以及当所述查询数据与所述一个或更多个预设问题中的至少一个的相应含义之间的含义相似度水平超过预设相似度阈值时，确定所述一个或更多个预设问题中的至少一个与所述查询数据相匹配。56.根据权利要求49所述的系统，其中，所述控制器还被配置为：确定所述查询数据与预设命令中的一个相匹配，所述预设命令与针对所述源文档执行的相应过程相关联；以及执行与被确定为与所述查询数据相匹配的所述预设命令中的一个相关联的预设处理。57.根据权利要求56所述的系统，其中，被配置为确定所述查询数据与预设命令中的一个相匹配的所述控制器被配置为：确定所述查询数据与被配置为使得生成所述源文档的至少一部分的概要的概要命令相匹配。58.根据权利要求49所述的系统，其中，所述控制器还被配置为：基于对应于所述查询数据的问题生成一个或更多个扩增问题，包括基于以下中的一个或更多个来对由所述查询数据表示的问题进行修改：a)改变所述问题中用词的顺序或b)利用从同义词数据记录中被识别为所述问题中的一个或更多个词的同义词或等同词的替换词来替换所述问题中的一个或更多个词。59.根据权利要求49所述的系统，其中，被配置为根据一个或更多个匹配标准来确定存储在问答高速缓存中的一个或更多个预设问题是否与所述查询数据相匹配的所述控制器被配置为：根据一个或更多个转换将所述查询数据转换成转换后查询；以及将所述转换后查询与存储在所述问答高速缓存中的转换后问答项进行匹配，其中，所
述转换后问答项中的每一个包括根据所述一个或更多个转换对一个或更多个问题和相应的一个或更多个答案进行转换所产生的转换后数据。60.一种利用指令编程的非暂时性计算机可读介质，所述指令能够在计算系统的一个或更多个处理器上执行，以：在本地设备处从远程设备接收表示与源文档的源内容相关的问题的查询数据；根据一个或更多个匹配标准，确定保持在所述本地设备处的问答高速缓存中所存储的一个或更多个预设问题是否与所述查询数据相匹配；以及响应于确定出所述预设问题中的至少一个与从所述远程设备接收到的查询数据相匹配，从所述问答高速缓存中获取与至少一个预设问题关联的、对应于与所述源内容相关的问题的答案的至少一个答案数据项。61.一种方法，包括：接收源文档；对所述源文档应用一个或更多个预处理以产生表示所述源文档的结构和内容的上下文信息；以及基于所述上下文信息，对所述源文档进行转换以生成问答可搜索文档。62.根据权利要求61所述的方法，其中，应用所述一个或更多个预处理包括将所述源文档分割成多个文档片段；并且其中，对所述源文档进行转换包括根据一个或更多个转换将所述多个源文档中的每一个转换成一个或更多个相应转换后片段。63.根据权利要求62所述的方法，其中，所述一个或更多个转换包括以下中的一个或更多个：用于生成表示所述多个文档片段的粗略内容的粗略数值向量的粗略线性化转换或用于生成表示所述多个文档片段的内容的精细转换后内容记录的精细转换。64.根据权利要求62所述的方法，其中，对所述源文档进行分割包括：根据分层规则将所述源文档分割成所述多个文档片段，所述分层规则在语义上将所述源文档的一部分与所述源内容的一个或更多个其他部分进行关联。65.根据权利要求64所述的方法，其中，根据分层规则对所述源文档进行分割包括：在特定文档片段中包括特定文档部分的内容以及位于所述源文档中所述特定文档部分的位置之前的节标题内容，其中，所述节标题内容被确定为与所述特定文档部分的内容相关联。66.根据权利要求62所述的方法，其中，对所述源文档进行分割包括：通过在所述源文档上滑动固定或可变大小的窗口来将所述源文档分割成所述多个文档片段以生成所述多个文档片段。67.根据权利要求66所述的方法，其中，在所述源文档上滑动所述窗口包括以小于所述窗口的大小的步长滑动所述窗口，使得生成的第一片段和下一个生成的片段各自共享至少一些重叠内容。68.根据权利要求61所述的方法，其中，将所述一个或更多个预处理应用于所述源文档包括：基于以下中的一个或更多个来确定所述源文档的特定部分的相对重要性值：所述特定部分相对于所述源文档的一个或更多个其他部分的位置的位置、所述特定部分的相对字体
大小、所述源文档的结构和组织、或所述源文档的文档类型。69.根据权利要求68所述的方法，其中，对所述源文档进行转换包括至少部分地基于所确定的所述特定部分的相对重要性值和所述源文档的其他部分的相对重要性值来对所述源文档进行转换。70.根据权利要求61所述的方法，其中，将所述一个或更多个预处理应用于所述源文档包括：对所述源文档的一部分进行识别，该部分包括布置在多单元表格中的多个子部分；以及生成多个替换部分以替代所述多单元表格，所述多个替换部分中的每一个包括相应子部分内容数据以及与所述多单元表格相关联的上下文信息。71.根据权利要求61所述的方法，其中，将所述一个或更多个预处理应用于所述源文档包括：基于由用户响应于呈现给所述用户的与所述源文档相关的一个或更多个问题而提供的信息来将上下文信息与所述源文档的一个或更多个部分进行关联。72.根据权利要求61所述的方法，其中，将所述一个或更多个预处理应用于所述源文档包括：基于问答对的一个或更多个基本事实样本来对与所述源文档的特定部分相关的问答上下文信息进行关联。73.根据权利要求61所述的方法，其中，应用所述一个或更多个预处理包括将所述源文档分割成多个文档片段，并且其中，所述方法...
还没有人留言评论。发表了对其他浏览者有用的留言会获得科技券。