logo
吉林市领域网络-阳光科技有限公司
服务电话:13843226952
 
工作时间:周一至周六:8:30-5:00  周日可联系客服QQ
   
  建站咨询㈠ 建站咨询㈡ 售后服务 空间域名  
关于阳光,吉林市网站建设,吉林市网站制作,网络公司
 当前位置:本站首页 >>> 电子商务

什么是robots协议?标准是什么?

日期:2018-1-5    来自:吉林市阳光网络科技   作者:Admin   去百度查找  去Google查找

  robots协议就是robots.txt文件,是一个被放置在网站中的.TXT文件,为搜索引擎爬虫做出提示,设置允许或者不允许两种搜索语句,网络爬虫据此判断抓取或者不抓取该网页内容。即网站通过robots协议高速搜索引擎哪些页面可以抓取,哪些页面不能抓取的。robots协议的目的是保护网站数据和敏感信息、确保用户个人信息和隐私不被侵犯。

  Robots.txt函数释义
  常见的Robots.txt函数有“User-agent”“Disallow”“Aallow”:
  1.User-agent:表示允许搜索引擎的身份,User-agent后缀不同则表示允许访问的搜索引擎有不同。例如:User-agent:Baiduspider表示允许百度蜘蛛,User-agent:Googlebot表示允许谷歌爬虫,User-agent: *则表示允许所有的搜索引擎。

    2.Disallow:表示禁止访问的内容。例如:Disallow: /表示网站禁止抓取访问; Disallow:则表示都允许收录;Disallow: /news/表示news这个文件夹的内容禁止访问;Disallow: /XXX.html表示XXX.html这个网站禁止收录;Disallow: /*.jpg$表示禁止抓取jpg格式的图片,其他类型的图片格式以此类推。

    3.Allow:是允许的意思,但需要注意:  他的使用一般都是结合Disallow他不能单独出现,意思是禁止爬取那个内容,加上Allow后意思是,除了可以爬取这个外其余的都禁止!

 

 
上一篇:没有了!
下一篇:开发电子商务网站需要了解哪些?
  阳光新闻 更多>>>
吉林网站建设_吉林网页制作-阳光新闻
2017年国庆中秋放假安排
2017年春节放假通知
2016年10月1日放假通知
2016年春节放假通知
2016年元旦放假通知
2015端午放假通知
  招贤纳士 更多>>>
诚招吉林市网站建设商务经理
招聘吉林市网站建设技术员
公司招收吉林市网站开发学员
因业务发展需要特诚聘商务代表
  网站建设专题 更多>>>
阳光科技为您提供网站改版服务
为什么网页设计要简练?
如何在百度提交收录,怎样让自己的网站排名
什么样的网站最受访客喜欢?
吉林市网站建设形式与内容应统一
网站管理与团队经营的秘诀
优质的单页网站如何创建
 
Copyright © 2008-2018 www.jlsyg.com, All Rights Reserved    
地址:吉林省吉林市船营区北奇城市广场A座702室   联系电话:13843226952  联系人:王经理
ICP备案号:吉ICP备10003760号   技术支持:吉林网站建设
打造最好的吉林网络公司!我们为您提供高品质的吉林网站建设吉林市网站建设吉林网站制作吉林网页制作吉林网站优化吉林seo服务!