imported>민준1988：/* growthexperiments-addimage-summary-summary: 1 */

2026-05-09T08:18:48Z

growthexperiments-addimage-summary-summary: 1

新页面

{{noteTA
|G1 = IT
|1 = zh-tw:造訪;zh-cn:访问;
|2 = zh:元数据; zh-hans:元数据; zh-tw:後設資料; zh-hk:元數據; zh-mo:元數據
}}
{{lowercase}}
{{selfref|关于中文维基百科的robots.txt文件，请见 https://zh.wikipedia.org/robots.txt 。}}
[[File:Robots(dot)txt.png|thumb|一条消息提示爬虫由于 robots.txt 文件的原因无法正常工作]]
'''robots.txt'''（统一小写）是一种存放于[[网站]]根目录下的[[ASCII]]编码的[[文本文件]]，它通常告诉网络[[搜索引擎]]的漫游器（又称[[网络蜘蛛]]），此网站中的哪些内容是不应被搜索引擎的漫游器获取的，哪些是可以被漫游器获取的。因为一些系统中的URL是大小写敏感的，所以robots.txt的文件名应统一为小写。robots.txt应放置于网站的根目录下。如果想单独定义搜索引擎的漫游器访问子目录时的行为，那么可以将自定的设置合并到根目录下的robots.txt，或者使用robots[[元数据]]（Metadata）。

robots.txt协议并不是一个规范，而只是约定俗成的，所以并不能保证网站的隐私。注意robots.txt是用字符串比较来确定是否获取[[URL]]，所以目录末尾有与没有斜杠“/”表示的是不同的URL。robots.txt允许使用类似「Disallow: *.gif」这样的通配符<ref>{{cite web |url=http://support.google.com/webmasters/bin/answer.py?hl=zh-Hans&answer=156449 |title=使用robots.txt文件阻止或删除网页 |accessdate=2012-10-16 |format=HTML |work=Google网站站长工具帮助 |archive-date=2012-10-18 |archive-url=https://web.archive.org/web/20121018052807/http://support.google.com/webmasters/bin/answer.py?hl=zh-Hans&answer=156449 |dead-url=no }}</ref><ref name="complete_guide_robots">{{cite web |url=http://www.yuhua.org/complete-guide-how-to-write-wordpress-robots-txt/ |title=完全指南：如何写好WordPress博客的robots.txt文件 |accessdate=2013-02-14 |format=HTML |work=The Observing Mind |archive-url=https://web.archive.org/web/20130915175430/http://www.yuhua.org/complete-guide-how-to-write-wordpress-robots-txt/ |archive-date=2013-09-15 |dead-url=yes }}</ref>。

其他的影响搜索引擎的行为的方法包括使用robots[[元数据]]：
<syntaxhighlight lang="html">
<meta name="robots" content="noindex,nofollow" />
</syntaxhighlight>
这个协议也不是一个规范，而只是约定俗成的，有些搜索引擎会遵守这一规范，有些则不然。通常搜索引擎会识别这个元数据，不索引这个页面，以及这个页面的-{zh-cn:链;zh-tw:連;zh-hk:連}-出页面。

== 例子 ==
允许所有的机器人：
<syntaxhighlight lang="text">
User-agent: *
Disallow:
</syntaxhighlight>
另一写法
<syntaxhighlight lang="text">
User-agent: *
Allow:/
</syntaxhighlight>

仅允许特定的机器人：（name_spider用真实名字代替）
<syntaxhighlight lang="text">
User-agent: name_spider
Allow:
</syntaxhighlight>

拦截所有的机器人：
<syntaxhighlight lang="text">
User-agent: *
Disallow: /
</syntaxhighlight>

禁止所有机器人访问特定目录：
<syntaxhighlight lang="text">
User-agent: *
Disallow: /cgi-bin/
Disallow: /images/
Disallow: /tmp/
Disallow: /private/
</syntaxhighlight>

仅禁止坏爬虫访问特定目录（BadBot用真实的名字代替）：
<syntaxhighlight lang="text">
User-agent: BadBot
Disallow: /private/
</syntaxhighlight>

禁止所有机器人访问特定文件类型<ref name="complete_guide_robots" />：
<syntaxhighlight lang="text">
User-agent: *
Disallow: /*.php$
Disallow: /*.js$
Disallow: /*.inc$
Disallow: /*.css$
</syntaxhighlight>

== 非标准扩展协议 ==
=== 自动发现Sitemaps文件 ===
<code>Sitemap</code>指令被几大搜索引擎支持（包括[[Google]]、[[Yahoo]]、[[Bing]]和[[Ask.com|Ask]]），指定了网站[[Sitemaps]]文件的位置。Sitemaps文件包含了网站页面所在的URL的一个列表。<code>Sitemap</code>指令并不受<code>User-agent</code>指令的限制，所以它可以放在robots.txt文件中的任意位置。<ref>{{cite book|author=Jerri L.Ledord著马煜译|title=搜索引擎优化宝典|pages=257}}</ref>
唯一要注意的就是要使用网站地图指令，<nowiki><sitemap_location></nowiki>,并将URL的「location」值换成网站地图的地址，例如，下面就是一个网站地图指令的例子：
<syntaxhighlight lang="text">
Sitemap: <http://www.example.com/sitemap.xml>
</syntaxhighlight>
如何编写Sitemaps文件，请参考[https://www.sitemaps.org sitemaps.org]{{Wayback|url=https://www.sitemaps.org/|date=20200924174408}}{{en}}上的说明。

=== Crawl-delay指令 ===
几大抓取工具支持<code>Crawl-delay</code>参数，设置为多少秒，以等待同服务器之间连续请求：<ref>{{cite web |url=http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html |title=How can I reduce the number of requests you make on my web site? |accessdate=2007-02-08 |format=HTML |work=Yahoo! Slurp |language=en |archive-date=2007-02-08 |archive-url=https://web.archive.org/web/20070208005115/http://help.yahoo.com/help/us/ysearch/slurp/slurp-03.html |dead-url=no }}</ref><ref>{{cite web |url=http://search.msn.com/docs/siteowner.aspx?t=SEARCH_WEBMASTER_FAQ_MSNBotIndexing.htm&FORM=WFDD#D |title=MSNBot is crawling a site too frequently |accessdate=2007-02-08 |format=HTML |work=Troubleshoot issues with MSNBot and site crawling |language=en |deadurl=yes |archiveurl=https://web.archive.org/web/20070220123205/http://search.msn.com/docs/siteowner.aspx?t=SEARCH_WEBMASTER_FAQ_MSNBotIndexing.htm&FORM=WFDD#D |archivedate=2007-02-20 }}</ref>

<syntaxhighlight lang="text">
User-agent: *
Crawl-delay: 10
</syntaxhighlight>

=== Allow指令 ===
一些大的Crawlers支持一项Allow指令，可以抵消先前Disallow指令。比如[[Googlebot]]。<ref>[http://www.google.com/support/webmasters/bin/answer.py?answer=40364&hl=zh-CN 如何拦截Googlebot（谷歌网站站长工具帮助）]{{zh-cn}}</ref>

== 替代 ==
雖然robots.txt是最為廣泛接受的方法，但也可以與robots META標籤一起使用。robots META標籤主要是針對一個獨立的頁面設定，與其他的META標籤（如使用的語言、頁面的描述、關鍵詞等）一樣，robots META標籤也是放在頁面的HEAD標籤中，專門用來告訴搜索引擎robots如何抓取該頁的內容。

<syntaxhighlight lang="html">
<head>
<meta name="robots" content="noindex,nofollow" />
</head>
</syntaxhighlight>

== 參考文獻 ==
{{Reflist}}

== 外部連結 ==
* [http://www.robotstxt.org The Web Robots Pages]{{Wayback|url=http://www.robotstxt.org/ |date=20120414234845 }}
* [https://developers.google.com/search/reference/robots_txt Robots.txt規範] {{Wayback|url=https://developers.google.com/search/reference/robots_txt |date=20210228184019 }}于Google
* [https://developers.google.com/search/docs/advanced/robots/create-robots-txt 建立robots.txt檔案] {{Wayback|url=https://developers.google.com/search/docs/advanced/robots/create-robots-txt |date=20210523021256 }}的说明于Google
{{-}}

{{SearchEngineOptimization}}

[[Category:全球資訊網]]
[[Category:搜索引擎]]

Robots.txt - 版本历史

imported>민준1988：​/* growthexperiments-addimage-summary-summary: 1 */

imported>민준1988：/* growthexperiments-addimage-summary-summary: 1 */