视频学习地址：https://www.bilibili.com/video/BV1LF411j7rm/?p=8&spm_id_from=pageDriver&vd_source=12d06e602c3462c026d1a4781241f2d4
倒排表：有存储 就会有数据量大的问题,怎么去解决数据量大的问题：1.压缩大数据变成小数据(压缩算法) 2.如何存数据让查询更快(数据结构)
如图 posting LIst 匹配到了100w条的数据
倒排表算法_Frame Of Referenct压缩算法 ：适用稠密数组
倒排表存储结构为有序数组 所以现在有了100w的int, 1个int类型占用4个字节 100W就是3.8MB的数据 这还只是匹配一个 如果100w的原始文本 每个文本差不多相同 所以拆分出来的词项匹配都相同
每一个原始数据都会被拆分成词项 如果原始数据为100Wt条 因为拆分里面的词 可能会导致 倒排表的数据比原始表还多
倒排表算法_RoaringBitmap压缩算法：适用稀疏数组 数组的差值比较大
如图得到的倒排表 词典数组是这样的 就用RBM算法
一个int类型 32位整形 32bit =2的16次方*2的16次方相乘 int的最大值 不会超过2的32次方
FST的构建过程：https://www.bilibili.com/video/BV1LF411j7rm?p=11&spm_id_from=pageDriver&vd_source=12d06e602c3462c026d1a4781241f2d4
理解数据结构：前缀树和 FST有限状态转换机
Lucene字典原理：FST在Lucene的构建原理,：https://www.cnblogs.com/LBSer/p/4119841.html
此内容由惯性聚合(RSS阅读器)自动聚合整理，仅供阅读参考。 原文来自 — 版权归原作者所有。