云数据库 GaussDB-停用词
停用词
停用词是很常见的词,几乎出现在每一个文档中,并且没有区分值。因此,在全文搜索的语境下可忽视它们。停用词处理逻辑和词典类型相关。例如,Ispell词典会先对标记进行规范化,然后再查看停用词表,而Snowball词典会最先检查输入标记是否为停用词。
例如,每个英文文本包含像a和the的单词,因此没必要将它们存储在索引中。然而,停用词影响tsvector中的位置,同时位置也会影响相关度:
1234 |
openGauss=# SELECT to_tsvector('english','in the list of stop words'); to_tsvector---------------------------- 'list':3 'stop':5 'word':6 |
位置1、2、4是停用词,所以不显示。为包含和不包含停用词的文档计算出的排序是完全不同的:
123456789 |
openGauss=# SELECT ts_rank_cd (to_tsvector('english','in the list of stop words'), to_tsquery('list & stop')); ts_rank_cd------------ .05openGauss=# SELECT ts_rank_cd (to_tsvector('english','list stop words'), to_tsquery('list & stop')); ts_rank_cd------------ .1 |
- GaussDB数据库安全_GaussDB收费吗_高斯数据库安全
- GaussDB视频教程_gaussdb查看表结构语句_高斯数据库视频教程_华为云
- GaussDB数据库云备份_华为GaussDB_高斯数据库云备份
- GaussDB学习_gaussdb教程_高斯数据库学习_华为云
- GaussDB数据库考试_GaussDB认证_高斯数据库考试_华为云
- GaussDB培训_GaussDB教程_高斯数据库培训-华为云
- GaussDB考试_GaussDB数据库考试_高斯数据库考试_华为云
- GaussDB使用技巧_高斯数据库下载_高斯数据库使用技巧_华为云
- 云数据库专题
- GaussDB工具_gaussdb怎么读_高斯数据库工具_华为云