robots.txt是什么?怎么运用
2021/10/24

作为一个网站建设优化公司,需要归还robots.txt文件,那么我们来看看这个文件的含义

robots.txt是一个纯文本文件,用来声明蜘蛛不想访问的网站部分,或者指定蜘蛛抓取的部分。这不是一个规则,而是一个协议,一个蜘蛛应该自觉遵守的习惯

当蜘蛛访问一个站点时,它会首先检查站点中是否存在robots.txt

如果找到,蜘蛛会根据文件中的内容确定爬行范围

如果文件不存在,蜘蛛会直接沿着链接 爬行

机器人的作用. txt

1。防止私人或重要内容被搜索引擎抓取

2。节省服务器资源以提高服务质量

3。减少重复抓取,提高网站质量

4。指定站点地图文件位置

用户代理:*

哪个搜索引擎蜘蛛

这里*代表搜索引擎的类型,而*是通配符

允许

定义允许蜘蛛对列或文件进行爬网

允许:/cgi-bin/

这里的定义是允许访问cgi-bin目录

允许:/*。htm$

允许访问带后缀的网址”。htm "/h/]

$引用匹配的行结束符

*表示匹配任何字符

禁止

定义禁止蜘蛛抓取列或文件

禁止:/admin/

这里的定义是禁止对管理目录进行爬网

不允许:/cgi-bin/*。htm

禁止抓取所有带后缀的URL”。htm "在/cgi-bin/目录中

不允许:/*?*

禁止抓取所有含有问号“?”的网站 的网站

用法:site map: http://www.google.com/sitemap.xml

网站地图:完整的URL名称(包括http:// part)

告诉搜索引擎蜘蛛这个页面是网站地图

robots.txt文件主要用于限制蜘蛛对整个站点或目录的访问,而robots meta tag主要用于特定页面


我们的优势
上门服务

支持POS机刷卡

最快1小时上门交接资料

专业服务

具有10年以上财务工作经验

严格按照新三板财务标准做账

价格透明

拒绝隐形消费

价格全称透明合理

支付随心

支付宝扫码支付、POS机刷卡

微信扫码支付、现金收款