搜索引擎的蜘蛛人（ROBOTS）秘密--中国站长学院,ASP,PHP,JSP,XML,SQL,FLASH,CSS,ASP.NET




	网站首页┊站长博客┊下载中心┊域名交易┊站长论坛┊域名主机┊免费电邮┊免费域名┊中文排行┊排名查询┊站长书库┊书籍教程下载

		设为首页加入收藏总编信箱
投稿或申请专栏请先 [登陆]

┊数据库

┊服务器

┊站长CLUB

		当前位置：首页 >> 网页设计 >> Html/Css >> 正文

公告通知


	▍返回上级列表

资料搜索

搜索引擎的蜘蛛人（ROBOTS）秘密

[ 来源：中国站长学院 | 作者：设计风 | 时间：2005-5-10 21:19:58 | 浏览：人次 ]

收藏到新浪ViVi 收藏到365KEY 收藏到我摘字号选择〖大中小〗/ 双击滚屏单击停止

我们知道，搜索引擎都有自己的“搜索机器人”（ROBOTS），并通过这些ROBOTS在网络上沿着网页上的链接（一般是http和src链接）不断抓取资料建立自己的数据库。

对于网站管理者和内容提供者来说，有时候会有一些站点内容，不希望被ROBOTS抓取而公开。为了解决这个问题，ROBOTS开发界提供了两个办法：一个是robots.txt，另一个是The Robots META标签。

一、 robots.txt

1、什么是robots.txt？

robots.txt是一个纯文本文件，通过在这个文件中声明该网站中不想被robots访问的部分，这样，该网站的部分或全部内容就可以不被搜索引擎收录了，或者指定搜索引擎只收录指定的内容。

当一个搜索机器人访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果找到，搜索机器人就会按照该文件中的内容来确定访问的范围，如果该文件不存在，那么搜索机器人就沿着链接抓取。

robots.txt必须放置在一个站点的根目录下，而且文件名必须全部小写。

网站 URL
相应的 robots.txt的 URL

http://www.w3.org/
http://www.w3.org/robots.txt

http://www.w3.org:80/
http://www.w3.org:80/robots.txt

http://www.w3.org:1234/
http://www.w3.org:1234/robots.txt

http://w3.org/
http://w3.org/robots.txt

本新闻共9页,当前在第1页 1 2 3 4 5 6 7 8 9

[发送给好友] [打印本页] [关闭窗口] [返回顶部] 转载请注明来源：http://edu.chinaz.com


	特别声明：本站除部分特别声明禁止转载的专稿外的其他文章可以自由转载，但请务必注明出处和原始作者。文章版权归文章原始作者所有。对于被本站转载文章的个人和网站，我们表示深深的谢意。如果本站转载的文章有版权问题请联系编辑人员，我们尽快予以更正。

	栏目编辑：设计风	责任编辑：设计风
	原始作者：设计风	录入时间： 2005-5-10 21:19:58
	信息来源：中国站长学院	投稿信箱： Edu#chinaz.com

设为首页 - 加入收藏 - 关于我们 - 广告服务 - 版权申明 - 友情链接 - 联系方式 - 总编信箱 - 会员投稿


		© CopyRight 2005-2008 CHINAZ.COM.Inc All Rights Reserved

		本站服务器空间和带宽由厦门柯特数据提供赞助