1.4 搜索引擎的3个核心问题

如上所述，搜索引擎如何能够搜得更准是其最重要的目标，那么如何才能使得搜索结果更准确？这里面涉及了3个核心问题。

1.4.1 3个核心问题

1 用户真正的需求是什么

搜索引擎用户输入的查询请求非常简短，查询的平均长度是2.7个单词。如何从如此短的查询请求里获知隐藏其后的真实用户需求？这是搜索引擎首先需要解决的非常重要的问题。如果不能获取用户真正的搜索意图，搜索的准确性无从谈起，即使后续内容匹配算法再精巧也无济于事。

从另外一个角度看，即使是同一个查询词，不同用户的搜索目的是不同的，如何识别这种差异？如果更进一步，即使是同一个用户发出的同一个查询词，也可能因为用户所处场景不同，其目的存在差异，又如何识别？所有这些都是搜索引擎需要解决的核心问题，即用户在此时此地发出某个查询，他的真实搜索意图到底是什么。

2 哪些信息是和用户需求真正相关的

上述第一个核心问题是从用户需求角度出发的，另外两个核心问题则是从数据角度考虑的。搜索引擎本质上是一个匹配过程，即从海量数据里面找到能够匹配用户需求的内容。所以，在明确用户真实意图这个前提条件做到后，如何找到能够满足用户需求的信息则成为关键因素。

判断内容和用户查询关键词的相关性，一直是信息检索领域的核心研究课题，不断提出的信息检索模型即在试图解决这个问题。相关研究历时近60年，尽管不断有新方法提出，检索效果总体而言也在逐步改进，但是这个领域的基本指导思想还是基于关键词的匹配，包括现在所有搜索引擎的相关性计算部分，其基本计算思路和几十年前相比并无本质差异。

如何能够在这个核心问题上有所突破？这个问题将会越来越重要，而从关键词匹配到让机器真正理解信息所代表的含义是解决这个问题必须迈过的门槛。从目前来看，尽管包括人工智能在内的很多相关研究领域对此有所进展，但是短期内还未能看到解决这一问题的清晰技术思路。

3 哪些信息是用户可以信赖的

搜索本质上是找到能够满足用户需求的信息，尽管相关性是衡量信息是否满足用户需求的一个重要方面，但并非全部。信息是否值得信赖是另外一个重要的衡量标准。

搜索引擎需要处理的信息对象是互联网上任意用户发布的内容，但是内容发布者所发布内容是否可信并无明确判断标准。这其间存在恶意的信息发布者故意歪曲事实的情况，也有信息发布者无心的错误。在同一个查询的搜索结果内，完全可能存在相互矛盾的搜索答案，此时信息的可信性即成为突出问题。

比如用户想到某一餐馆就餐，在做出消费决定前，在网上搜索曾在此餐馆就餐的用户的过往评论，以此辅助决策。而搜索到的相关内容，完全有可能是餐馆故意发布的一些好评信息，以此误导消费者。但是如果信息发布者是该用户的朋友，那么信息的可信性就会大大增加。

从某种角度看，链接分析之所以能够改善搜索结果，可以认为是对信息的可信赖度做出的评判。即将网页的重要性作为是否可信赖的一个判断标准，返回重要网页即是返回可信赖网页。

1.4.2 与技术发展的关系

1.3节对搜索引擎技术发展史做了归纳整理，对照本节提到的搜索引擎3个核心问题，可以看到不同历史发展阶段技术的不同侧重点，以及搜索引擎技术螺旋式上升的发展趋势，如图1-5所示。

对于分类目录式搜索引擎，其重点关注的是信息的可信赖性，因为分类目录内收录的网站经过人工精心筛选，所以具有很强的可信赖性，但是对于用户需求和相关性是不做考虑的，完全靠用户自由浏览来确定。

对于第一代文本检索式搜索引擎，其重点关注的是查询关键词和网页内容的相关性。这种搜索方式假定用户输入的查询关键词就是用户的真实需求，很明显这种假设很难成立。另外，这种搜索方式对于信息的可信度也未做任何识别。

第二代搜索引擎引入链接分析技术，链接关系代表了一种推荐含义，而获得越多推荐的网页其链接分析得分越高，这其实是一种对网页可信度的度量标准。同时，第二代搜索引擎也利用了文本检索模型，来计算查询和网页内容的相关性。所以第二代搜索引擎是综合考虑了信息的相关性和可信性的，但是同样没有对用户需求做关注。

第三代搜索引擎的重点则是用户的真实需求，其他方面则兼顾了第二代搜索引擎的优点，即第三代搜索引擎同时考虑了3个核心问题。