搜索引擎的蜘蛛人（ROBOTS）秘密--中国站长学院,ASP,PHP,JSP,XML,SQL,FLASH,CSS,ASP.NET




	网站首页┊站长博客┊下载中心┊域名交易┊站长论坛┊域名主机┊免费电邮┊免费域名┊中文排行┊排名查询┊站长书库┊书籍教程下载

		设为首页加入收藏总编信箱
投稿或申请专栏请先 [登陆]

		当前位置：首页 >> 网页设计 >> Html/Css >> 正文

公告通知

资料搜索

搜索引擎的蜘蛛人（ROBOTS）秘密

[ 来源：中国站长学院 | 作者：设计风 | 时间：2005-5-10 21:19:58 | 浏览：人次 ]

收藏到新浪ViVi 收藏到365KEY 收藏到我摘字号选择〖大中小〗/ 双击滚屏单击停止

3、  常见搜索引擎机器人Robots名字

名称                     搜索引擎

Baiduspider            http://www.baidu.com

Scooter              http://www.altavista.com

ia_archiver             http://www.alexa.com

Googlebot           http://www.google.com

FAST-WebCrawler http://www.alltheweb.com

Slurp                  http://www.inktomi.com

MSNBOT            http://search.msn.com

4、 robots.txt举例

下面是一些著名站点的robots.txt：

http://www.cnn.com/robots.txt

http://www.google.com/robots.txt

http://www.ibm.com/robots.txt

http://www.sun.com/robots.txt

http://www.eachnet.com/robots.txt

本新闻共9页,当前在第3页 1 2 3 4 5 6 7 8 9


	特别声明：本站除部分特别声明禁止转载的专稿外的其他文章可以自由转载，但请务必注明出处和原始作者。文章版权归文章原始作者所有。对于被本站转载文章的个人和网站，我们表示深深的谢意。如果本站转载的文章有版权问题请联系编辑人员，我们尽快予以更正。

	栏目编辑：设计风	责任编辑：设计风
	原始作者：设计风	录入时间： 2005-5-10 21:19:58
	信息来源：中国站长学院	投稿信箱： Edu#chinaz.com


		© CopyRight 2005-2008 CHINAZ.COM.Inc All Rights Reserved

		本站服务器空间和带宽由厦门柯特数据提供赞助