|
| Google是如何收录及排（pái）序网页的（de） |
|
我们遇到的最常见的问题之一是“Google是如何判定哪个（gè）结（jié）果出现在搜索结（jié）果（guǒ）的前茅？”，Matt Cutts给我们（men）简单地揭示（shì）了如何抓取、收（shōu）录和给（gěi）网页评级。
抓取和收（shōu）录
当（dāng）你（nǐ）看（kàn）到出现在Google的搜索结果的那（nà）个网页之前，Google在后台已经做了许（xǔ）多步骤。Google的第一步是抓取和收录互（hù）联（lián）网上的数十亿的网（wǎng）页，这个工作时由（yóu）Google的机器人Googlebot来（lái）完成的，它浏览（lǎn）网（wǎng）络服务器抓取文件。 抓（zhuā）取的程序（xù）并（bìng）不是漫无目的地在互联网上瞎逛（guàng），它访问服（fú）务器的特定的网页（yè），然（rán）后扫描（miáo）网页上的超（chāo）文本链接（jiē），如果（guǒ）有（yǒu）新的（de）文件也是这样抓取（qǔ）得；蜘蛛程（chéng）序给每个得到的网页一个号（hào）码，这个号码指（zhǐ）向（xiàng）它（tā）抓取的网页。
蜘蛛程（chéng）序抓（zhuā）取了很多的网（wǎng）页，但这些（xiē）网页还不是便于搜索的（de）。如果没有一（yī）个索（suǒ）引，你要查询一个词，比如“国内战（zhàn）争”，Google的（de）服务器每次（cì）都要读（dú）取每（měi）一个文件的所有（yǒu）内（nèi）容。
因此（cǐ），第二步就是建立索（suǒ）引。我们不是去扫描每一个文件的所有（yǒu）内容，我们巧妙地进行数据（jù）的（de）“转（zhuǎn）换”，列出每一个（gè）文件所包含的特定的词（cí），例如，“国内（nèi）”这个词可能出现在文（wén）件3，8，22，56，68和92当中，而“战争”这（zhè）个词（cí）出现在文件（jiàn）2，8，15，22，68和（hé）77中（zhōng）。
建（jiàn）立好索引（yǐn）之后，我（wǒ）们（men）就可以开始对网（wǎng）页进行评级，决定（dìng）网页（yè）的相关程度。假设有人在Google的搜索栏输入“国内战争”进行查询（xún），为了（le）提（tí）交搜索结果和对结果进行评分，我们要做（zuò）两件事（shì）：
1. 找到包含用户查询的词的网页
2. 给符合的网页按照相关程度进行评级
Google开发（fā）出一（yī）个有趣的技巧来加速第（dì）一步：Google不是把整个索引存（cún）储在一台功能强大（dà）的计（jì）算机（jī）上，而（ér）是用千（qiān）百个计算机来存储这些信息。因为任务（wù）被分解到许多的计算机，可以更快地找到所需（xū）的答案。 详细解释一下，假设一本书（shū）的目录有30页，如果一个人（rén）要在目录（lù）中查寻资料，每（měi）次查询都（dōu）要花几秒钟；如（rú）果用30个（gè）人（rén）每人查（chá）询一（yī）页目录，显然要（yào）比一个人查询的速度快很（hěn）多。同样的，Google将数（shù）据分（fèn）别存（cún）储在（zài）许（xǔ）多计（jì）算（suàn）机上，这样搜索的速度会大大加快（kuài）。
我们是（shì）如（rú）何找到那些包含用户搜索的词（cí）的（de）网页呢？回到“国内战争”的例子（zǐ），“国内”这个（gè）词出现在文件3，8， 22， 56， 68 和92; “战（zhàn）争（zhēng）”出现在（zài）文件2， 8， 15， 22， 68和77，记（jì）下同时（shí）出现（xiàn）这（zhè）两个词的文（wén）件。
国内 3 8 22 56 68 92
战（zhàn）争 2 8 15 22 68 77
国内 战争 8 22 68
这样我（wǒ）们可以清楚地发现“国内”、“战（zhàn）争”这两个（gè）词同（tóng）时出现的（de）在三个（gè）文件里 (8, 22, 和68)。 含有这几个（gè）字的列表叫做“位置列表”，搜索文件包含这（zhè）两个字，这（zhè）叫做交叉搜索位置列表。（较快的交叉搜索（suǒ）的方法是（shì）同时进行搜（sōu）索，如果一个搜（sōu）索列表,22到68，那另一个（gè）就可（kě）以开始（shǐ）搜索其他（tā）的）
对结果进行评级
现（xiàn）在我们已经有（yǒu）了一些包（bāo）含用户搜索的关键词的网页，我们要对它们的相关程度进行评级。Google用许多参（cān）数进行评级。这当中PR算法（fǎ）是众所周知的。PageRank评估两个（gè）因素：有多少个（gè）网页链接（jiē）到这个网（wǎng）页，这些链接网页的网站的质量（liàng）如何。通过PageRank，五六个高质（zhì）量的站点的链接，比如www.cnn.com和www.nytimes.com比其他较差的网站的链接要（yào）有价值的（de）多（duō）。
但是除了PageRank，我（wǒ）们还用（yòng）许多（duō）其（qí）它的参（cān）数来进（jìn）行评级。例如，如果一个（gè）文件包含“国（guó）内”和“战（zhàn）争”这两个词排（pái）在一起，这个文（wén）件可能比一（yī）个讨论革命战争（zhēng）的文件（在文件的某个（gè）地方使用“国（guó）内”）的相关程度高。还（hái）比如假设（shè）一（yī）个网页的标题是（shì）“国内（nèi）战争”，比另一个标（biāo）题为“19世纪美（měi）国服装”的网页相关度高得多。同样的（de），如（rú）果“国内战争”在网页中出现（xiàn）多次的网页比只（zhī）出现一个的网页相关（guān）的程度（dù）也（yě）要高。假设你是搜索引擎，选（xuǎn）择一个（gè）词（cí）查询，比如：国内战争（zhēng）或回收，在Google上查询，从（cóng）结果（guǒ）中（zhōng）挑选三到四页打印出来。从每一张打印的页面上（shàng）找出你的（de）搜（sōu）索（suǒ）语句的每一（yī）个字然后用荧光笔标出来，然后把这几页（yè）贴在墙上，退后几步眯着眼看，当（dāng）你不知道页面的（de）内容，仅仅能（néng）看到那（nà）些有（yǒu）颜色的方块，你（nǐ）认为那一（yī）页是最相关（guān）的呢？是不是有着大的标题和多次（cì）重（chóng）复出（chū）现的颜色代（dài）表（biǎo）了较高的（de）相关程度？你喜欢这些字出现在（zài）顶端还是底部？这些字出现（xiàn）的频率如何？这也是搜索引擎如何（hé）判断网页的（de）相关程度。
原则上，Google总是试（shì）图（tú）找出可靠的和相关（guān）的（de）网页。如果两个网页按（àn）照（zhào）查（chá）询的语（yǔ）句大致有相同的信息，Google通常选择比较（jiào）信得过的网站的网页。当然，如果有一（yī）些因素表明这个网站的网（wǎng）页相（xiàng）关（guān）度更高，Google经常也选择PageRank较（jiào）低的网站。
一旦Google完成了（le）文件（jiàn）的列（liè）表（biǎo）和它（tā）们的评（píng）分，就给（gěi）出得分最高的网页。Google同时从网页中摘录一（yī）小段包含（hán）查询的关（guān）键词的句子；给出网页的（de）链接。
对于（yú）这样（yàng）的搜索工作（zuò），需要（yào）极（jí）大（dà）的数据运算量，一般说来，对于某个搜索，要有超过500台的服务器协同工作以求得最佳匹配的（de）结果，当然，结果会在半秒内返回（huí）用户。 |
|
