










想用它预处理文档,然后帮助提取与关键字匹配的内容。看起来很理想,但实际提取不尽人意。
我做了个小工具,把切分后的每段,与关键字的匹配程度,可视化出来了,可以直观看到匹配度。
从网页内容中,提取“中国人民银行的编制”,效果不错:
https://i.v2ex.co/Un42aYmEl.jpeg
从网页内容中,提取“中国人民银行的职责”,开头匹配的很好,但漏掉了接下来的那些:
https://i.v2ex.co/NOX30mHPl.jpeg
可以看到,在提取“中国人民银行的职责”匹配的句段时,会漏掉枚举的那几条。
这可以说是段落拆分的问题,我是逐句拆分的,问题是,段落怎么才能合理拆分呢?如果必须知道哪些跟哪些是在一起的,那就相当于已经提前理解文章的内容了,就没有必要上向量数据库了。
所以,向量数据库如何做是比较合适的呢?就比如我上面的这种应用场景。
此内容由惯性聚合(RSS阅读器)自动聚合整理,仅供阅读参考。 原文来自 — 版权归原作者所有。