sitemap即网站地图,存储网站所有网址url的索引,用于通知搜索引擎网站上有哪些可供抓取的网页。

【sitemap.xml】

即网站地图,存储网站所有网址url的索引,用于通知搜索引擎网站上有哪些可供抓取的网页。

一般放置在网站根目录,通过域名 + sitemap.xml的形式访问,如http://www.shayvmo.top/sitemap.xml

常见的sitemap文件格式有xml、txt,一般使用xml即可,百度、谷歌等主流搜索引擎都是使用xml文件

网站地图的主要作用是告诉搜索引擎网站可供访问的url链接,以及最近更新网页信息,便于搜索引擎抓取收录,因此对于网站的排名具有积极意义。

【sitemap 生成】

参考以下链接:

http://www.sitemap-xml.org/

【robots.txt】

搜索引擎使用spider程序自动范文互联网上的网页并获取网页信息。

robots.txt 这个文件用于指定spider在您网站上的抓取范围,可以 定义哪些目录抓取,哪些目录禁止抓取。

【用法】

User-agent:定义进制搜索引擎名字,比如说:百度(Baiduspider)、谷歌(Googlebot)、360(360Spider)等。*号代表全部搜索引擎

Disallow:不允许收录

Allow:允许收录

【案例】

User-agent: *          #(声明禁止所有的搜索引擎抓取以下内容)

Disallow:/blog/ #(禁止网站blog栏目下所有的页面。比如说:/blog/123.html)

Disallow:/api #(比如说:/apifsdfds/123.html也会被屏蔽。)

Allow:/blog/12/ #(一般情况下不需要写Allow)

Disallow:*?* #(只要你的路径里面带有问号的路径,那么这条路径将会被屏蔽。)

Disallow:/*.php$ #(意思是以.php结尾的路径全部屏蔽掉。)

【参考地址】

https://www.seoxiehui.cn/article-80769-1.html

https://www.chinaz.com/web/2013/0930/320276.shtml