博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
lucene排序算法之向量空间模型(一)
阅读量:7235 次
发布时间:2019-06-29

本文共 510 字,大约阅读时间需要 1 分钟。

hot3.png

lucene排序算法除了分析查询关键词与文档的匹配度之外还包括其它的排序因子,先着重讨论通过向量空间模型分析查询关键词与文档的匹配度问题。

在向量空间模型中有两种基本的距离度量方式即:欧式距离和余弦距离,而求匹配度时采用的是余弦距离而不是欧式距离,个人理解如下:

1、文档由句子构成、句子由词和短语构成、短语由词构成,且要真正理解一篇文档需要考虑句子与句子的顺序、词和短语的顺序、词和词的顺序等等,向量空间模型简单的认为文档是由n个词构成的,并且词与词之间是正交的(每个词是个独立的维度并且是语义无关的,尽管不符合实际,但为了便于建立数学模型就做了这样的假设);

2、为了讨论方便就假设文档和查询短语由两个词构成,这样文档和查询短语就是二维平面上的向量;

3、词的量化采用TF-IDF算法计算而得(关于该算法的理论依据会单独写一篇进行讨论);

4、图中D表示文档向量,q1、q2表示查询向量,如果采用欧式距离q2比q1到D的距离更小从而相似度更高,实际上q1与D的相似度比q2的高,因为q2只包含一个词而q1包含两个词。

转载于:https://my.oschina.net/u/1268334/blog/3017846

你可能感兴趣的文章
Lync Server 2010迁移至Lync Server 2013部署系列 Part15:迁移中央管理器(CMS)
查看>>
HIVE中的自定义函数
查看>>
通过IP来获取位置
查看>>
P3-SQL 学习笔记
查看>>
dokcer安装gitlab
查看>>
毕业面试 | 如何准确一分钟介绍你自己?
查看>>
linux下输入密码不回显
查看>>
mysql数据同步
查看>>
html 标签
查看>>
我的友情链接
查看>>
Windows 8下excel 2010的多窗口开启
查看>>
EF Code First关系规则及配置
查看>>
C++中delete和delete[]的区别
查看>>
koan重新安装系统
查看>>
sed和gawk基础
查看>>
Linux入门之web服务(三)---httpd配置应用详解
查看>>
手机共享笔记本wifi免费上网
查看>>
VMware-server-2.0.0-101586注册码备下来
查看>>
Linux命令学习1
查看>>
SCOM2012功能测试(29)—查看-Diagnostics
查看>>