做SEO的人应该都知道robots.txt,这个文件是搜索引擎蜘蛛访问网站时候首先要访问的文件。不知道大家有没有注意到这个文件中有一个属性是:User-agent。我想大部分人都不知道这个User-agent的意思。今天让北京SEO给大家说一说这个属性的意思。
User-agent 其实是HTTP请求协议中的一个属性。这个属性在协议中十分重要,因为User-agent是表明终端程序身份的属性。在数据交互的过程中WEB服务器需要根据不同的User-agent做出不同的行为。User-agent可以用于提高用户体验。但是有些做SEO的人通过User-agent对搜索引擎进行作弊。这种做法如果被搜索引擎发现是要受到严厉的惩罚的。所谓的通过User-agent进行作弊就是通过网站的服务器向搜索引擎蜘蛛的User-agent提供正常的网站内容。而面向用户则提供一些垃圾页面。所以提醒大家一定要认证的做SEO不要采用任何作弊手段提高排名。 |