15年前,搜索由扫描文本页面和查找关键词构成。当时,对于普通人来说,网络上有限数量的信息并不是很有用处,而且数据传输的速度就像蜗牛一样慢。 然而,尽管有这些不利的限制条件,网络最终还是成功俘获了我们的想象力。“网上冲浪”时,我们感觉自己就像太空探索者正在发掘广阔的未知领域一样。当时, 科幻小说里的场景就好像在我们眼前生动地展现开来。
时至今日,这一点也并没有改变,每天都有数十亿份的文件被添加到网络上,而且,人们的期望每天都在发生变化。我们希望信息能 以所有不同的格式 (视频、图像等)用世界上的各种语言提供,能够按照我们的喜好量身打造,而且,我们还希望能够即时获得这些信息。换句话说,搜索引擎必须不仅能处理快速增 长的信息量,还要能应对用户行为与期望的快速和根本性的改变。
超越文本和语言
在Google,当大家谈论组织整理全世界的信息时,其实并不只是指文本信息——图像和视频中也包含有大量信息。与文本不同的是,技术和机器无 法简单地阅读一幅图像或一个视频,必须深入观察它们,找出像素信息,并把这些像素信息转化成一些有意义的东西。在很长一段时间里,我们都曾认为这是一个无 法实现的“白日梦”,但通过梳理搜索方法和计算机视觉方面的各项技术突破,今天的搜索技术已经可以做到在视觉层次上匹配画面了。
打破语言方面的障碍可以打开为新的信息领域,但不幸的是,让计算机去理解语言,要比教一个人学语言还难。人类是通过结合词汇和语法规则来学习语 言的,但语言是很复杂的,语法规则中总有例外,例外中还会出现更深一层的例外。而且,这种方法的可伸缩性也不是很好。为了实现在每个可能的语言对之间进行 转化,不管是日语到中文,北印度语到韩语,还是乌尔都语到斯瓦西里语,你的电脑都必须掌握大量的例外情况!
所以,我们并没有试图给电脑制定大量的规则,而是选择向翻译引擎内输入成千上万份专业翻译文件,并使用各种统计搜索模型在这些文件中识别各种模式。这些模式帮助我们找到了无数的相互关系,从这些相互关系中,就可以开始做到预测某个特定单词、短语或文件的最佳翻译结果。
你知道吗?如今每个人都拥有独属于自己的Google版本。你的Google不同于我的Google,我们的版本跟邻里朋友的也不一样。这一点是非常符合逻辑的,因为我们都有自己独特的兴趣与喜好。
然而,创建一个定制的搜索引擎并不是件简单的工作,有许多因素会影响到在某一特定时间对你来说最有用的搜索结果。举例来说,Google在 150多个区域市场都实现了本地化,当你站在前门大街搜索烤鸭店时,看到的结果是前门大街上的烤鸭店。听起来很简单吧?但是,随着用户模型越来越精细,工 作的复杂度会呈指数倍增长。
用搜索查询“lords”这个词语来举个例子。这个简单的词有好几个意思——比如上议院、城堡和宝剑,甚至一个非常流行的多人网络游戏。不过, 作为印度板球队球迷的我,通常都是搜索并点击与板球有关的信息。所以,当我在Google上搜索“lords”时,我首先会看到的是关于伦敦最著名的板球 球场——罗兹板球场(Lords Cricket Ground)的信息。
实时+智能
不久之前,大量来自政府的研究数据被刻录在了一些光盘上,人们花费了3到6个月的时间才把这些信息变成一些能用的东西。在信息制作完成后的几秒钟内即可进行访问的能力改变了所有人的观念,但对早期搜索领域的科研人员来说,实时搜索却几乎不可能实现。
2009年12月,Google推出了实时搜索业务,这是我有生以来经历过的最复杂的项目之一。我们开发了十多种新技术,以近乎即刻的速度决定 最新信息的相关性,比如从经过缩短的URL中提取信息、从世博会新闻中提取有意义的内容,以及评估查询量的变化以找出热点话题等。去年加州爆发地震 时,Google实时搜索开始显示这一信息的时间比美国地质调查局的官方报告整整提前了8分钟。
计算机已经慢慢学习着翻译语言,但是,如何让计算机实际理解语言仍然是我们目前面临的最大挑战之一。在有关汽车的语境中,Google知道 “GM”指的是通用汽车,在其他情况下,比如有关食品的语境中,GM就会变成“转基因(Genetically Modified)”。但遇到那些有多重意思的词语呢?当你想改变(change)笔记本电脑屏幕的亮度时,实际上是想“调节(adjust)”亮 度,Google能理解到这一点;同理,如果你想把一份PDF文件转变(change)成一份Word文件,Google则可以帮助你了解如何“转化 (convert)”那份文件。
这些听起来也许像是简单的直接替换,但你要知道,计算机并不能像人类一样思考。给计算机编定程序,从词汇与语境中引申出意义,这在大约20年前几乎是无法想象的——回到那个时候,如果我们说希望能用这种方法处理世界上所有的语言会怎样?我们一定会被人当成疯子的。
未来:没有搜索的搜索
毫无疑问,我们已经走过了很长一段路。不过,当你追求完美的时候,不管你已经走了多远,也不管你解决了多少看似无法解决的难题,总是还会有许多 工作要完成。在我的心目中,搜索技术的“圣杯”就是要了解用户的想法,不仅仅是匹配词汇,而是要实际匹配含义。更理想的状态是什么?那就是在用户进行搜索 之前就已经完成了这项工作。
在我的梦想中,未来的搜索引擎能全天候地帮助并指导我,告诉我下一步该做什么。它知道我的下一场会议是在市中心,但它同时还能看到那个地区正在 断电,让我知道自己或许应该重新安排时间;它会提醒我两周后就到我老婆的生日了,同时提示我她想要一个iPad,再建议我去跟我朋友Matt交流一下,因 为他曾经做过iPad WiFi功能方面的研究,然后再把离我最近的苹果专卖店的路线图发给我……
(本文作者为Google首席搜索研究员,有