sitemap即网站地图，存储网站所有网址url的索引，用于通知搜索引擎网站上有哪些可供抓取的网页。

【sitemap.xml】

即网站地图，存储网站所有网址url的索引，用于通知搜索引擎网站上有哪些可供抓取的网页。

一般放置在网站根目录，通过域名 + sitemap.xml的形式访问，如http://www.shayvmo.top/sitemap.xml

常见的sitemap文件格式有xml、txt，一般使用xml即可，百度、谷歌等主流搜索引擎都是使用xml文件

网站地图的主要作用是告诉搜索引擎网站可供访问的url链接，以及最近更新网页信息，便于搜索引擎抓取收录，因此对于网站的排名具有积极意义。

【sitemap 生成】

参考以下链接：

http://www.sitemap-xml.org/

【robots.txt】

搜索引擎使用spider程序自动范文互联网上的网页并获取网页信息。

robots.txt 这个文件用于指定spider在您网站上的抓取范围，可以 定义哪些目录抓取，哪些目录禁止抓取。

【用法】

User-agent：定义进制搜索引擎名字，比如说：百度（Baiduspider）、谷歌（Googlebot）、360（360Spider）等。*号代表全部搜索引擎

Disallow：不允许收录

Allow：允许收录

【案例】

User-agent: *          #（声明禁止所有的搜索引擎抓取以下内容）

Disallow：/blog/       #（禁止网站blog栏目下所有的页面。比如说：/blog/123.html）

Disallow：/api         #（比如说：/apifsdfds/123.html也会被屏蔽。）

Allow：/blog/12/       #（一般情况下不需要写Allow）

Disallow：*?*          #（只要你的路径里面带有问号的路径，那么这条路径将会被屏蔽。）

Disallow：/*.php$      #（意思是以.php结尾的路径全部屏蔽掉。）

【参考地址】

https://www.seoxiehui.cn/article-80769-1.html

https://www.chinaz.com/web/2013/0930/320276.shtml