作者WebGhost (WebGhost)
看板Web_Design
标题Re: [教学] 减慢 Yahoo bot 索引的速度
时间Wed Jan 9 09:23:45 2008
不好意思借用这篇文章请问一下
要怎麽知道Yahoo或Googl放bot来索引我的网页？
会有什麽纪录吗？怎麽查？
谢谢
※ 引述《stOOrz6 (stOOrz)》之铭言：
: ※ [本文转录自 Blog 看板]
: 作者: stOOrz6 (stOOrz) 看板: Blog
: 标题: [教学] 减慢 Yahoo bot 索引的速度
: 时间: Mon Mar 12 14:37:08 2007
: 原文: http://blog.stoorz.org/archives/2007/03/12/84/
: 继上次看到 Yahoo 在五分钟之内放出 12 只 bot 来索引我的网页之後，刚刚又看
: 到五分钟之内有五十几只 Yahoo Bot 跑来想要索引我的 blog 文章。
: 基本上，被索引是正常的，这样搜寻引擎才知道怎麽让别人找到你的网页，但是像
: Yahoo 的 bot 这样子短时间之内大量存取网页，而且频率又那麽高，几乎随时都
: 可以在後台看到 Yahoo 的 bot 在看我的 blog 文章。
: 索引频率这麽高，对自己架站的部落客来说，一方面频宽会被吃掉，另一方面如果
: 是买 hosting 之类的虚拟主机，每个月又有流量限制，光被 bot 索引就吃掉大部
: 分的流量了。
: 解决的办法就是利用 robots.txt 来限制 Yahoo bot 的索引速度。只要在根目录
: 下产生一个档名叫做 robot.txt 的档案，里面的内容为
: User-agent: *
: Disallow:
: User-agent: Slurp
: Crawl-delay: 300
: 这样就可以告诉 Yahoo 的 bot 间隔五分钟才能来索引一次。 至於 Google 的
: bot，只要有设定 sitemap 的话，就会依照 sitemap 的设定频率来索引，所以比
: 较没有问题。
: 原文: http://blog.stoorz.org/archives/2007/03/12/84/
--
※ 发信站: 批踢踢实业坊(ptt.cc)
◆ From: 59.114.195.121
1F：→ fillano:log会记录阿。 01/09 11:15