Hexo添加蜘蛛文件Robot

发表于 更新于 分类于 ， 阅读次数： 阅读次数： Artalk： 本文字数： 580 阅读时长 ≈ 1 分钟

Robots.txt文件是网站跟爬虫间的协议，对于专业SEO并不陌生，用简单直接的txt格式文本方式告诉对应的爬虫被允许的权限，也就是说robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。当一个搜索蜘蛛访问一个站点时，它会首先检查该站点根目录下是否存在robots.txt，如果存在，搜索机器人就会按照该文件中的内容来确定访问的范围；如果该文件不存在，所有的搜索蜘蛛将能够访问网站上所有没有被口令保护的页面。 ^beogf1

存放位置为，站点目录的Source目录，这样Hexo编译后会放在public文件夹下面，供搜索引擎检索。

增加文件：/source/robots.txt

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
# welcome to : blog.baiyz.top
User-agent: *
Allow: /
Allow: /archives/
Allow: /categories/
Allow: /about/
Allow: /links/
Allow: /tags/
Allow: /collectSite/


Disallow: /js/
Disallow: /css/
Disallow: /fonts/
Disallow: /vendors/
Disallow: /lib/
Sitemap: https://blog.baiyz.top/sitemap.xml