内容标题39

  • <tr id='5RUXjM'><strong id='5RUXjM'></strong><small id='5RUXjM'></small><button id='5RUXjM'></button><li id='5RUXjM'><noscript id='5RUXjM'><big id='5RUXjM'></big><dt id='5RUXjM'></dt></noscript></li></tr><ol id='5RUXjM'><option id='5RUXjM'><table id='5RUXjM'><blockquote id='5RUXjM'><tbody id='5RUXjM'></tbody></blockquote></table></option></ol><u id='5RUXjM'></u><kbd id='5RUXjM'><kbd id='5RUXjM'></kbd></kbd>

    <code id='5RUXjM'><strong id='5RUXjM'></strong></code>

    <fieldset id='5RUXjM'></fieldset>
          <span id='5RUXjM'></span>

              <ins id='5RUXjM'></ins>
              <acronym id='5RUXjM'><em id='5RUXjM'></em><td id='5RUXjM'><div id='5RUXjM'></div></td></acronym><address id='5RUXjM'><big id='5RUXjM'><big id='5RUXjM'></big><legend id='5RUXjM'></legend></big></address>

              <i id='5RUXjM'><div id='5RUXjM'><ins id='5RUXjM'></ins></div></i>
              <i id='5RUXjM'></i>
            1. <dl id='5RUXjM'></dl>
              1. <blockquote id='5RUXjM'><q id='5RUXjM'><noscript id='5RUXjM'></noscript><dt id='5RUXjM'></dt></q></blockquote><noframes id='5RUXjM'><i id='5RUXjM'></i>
                8年
                SEO网站优●化推广经验

                haizr.站内优化技巧

                站内SEO优化设置技巧分享

                填写您的业务需求

                网站robots文件编写详解以♂及注意事项

                来源: / | 时间:2019.04.22 | 浏览数:26

                robots.txt文件是一个文本文件,使用任何一个常见的文本编辑器,比如Windows系统自带的Notepad,就可以创建和编辑它  。robots.txt是一个协议,而不是一个命令。robots.txt是搜索引擎中访问网站的时候要查看的第一个文件。robots.txt文件告诉蜘蛛程序在服务器上什么文件是可以被查看的。

                600网站robots文件编写详解以及注意事项

                        一:学习robots文件编写,前提是得熟悉网站url和Url的原理以及网站程序目录。为什么?很简单蜘蛛是通过url抓取的。文件具体形式,以阿里云主机根目录为例,格式表示如下:

                        技巧:域名=根目录。

                        /htdocs/=域名

                        /htdocs/skin/=域名/skin/

                        /htdocs/skin/css/=域名/skin/stivle.css/

                        二:robots写法↙注意点:冒号后面有一个空格 , 必须全英文模式书写,字母大小写要注意,这是比较严谨的,需要特别注意。例如

                        Disallow:  /ab/abc/

                        Allow:  /ab/abc/

                        User-agent:  Baiduspider

                三:操作流程以及写法:桌面新建一个.txt文件,在文件上写robots规则。

                        1:下面先来看看名词定义解释,不同的搜索引擎有不同的蜘蛛。

                        【1】:User-Agent:  对蜘蛛进行的规定(1)对百度蜘蛛的规定User-agent:  Baiduspider 。(2)谷歌User-Agent:  Googlebot   (3)必应User-agent:               Bingbot (4)360    User-Agent: 360Spider (5)宜搜User-Agent:   Yisouspider(6)搜狗User-Agent: Sogouspider (7)雅虎User-Agent: Yahoo!               Slurp

                         User-Agent:  * 指对所有的蜘蛛

                        【2】:Disallow:  指禁止■抓取。

                        【3】:Allow:  指允许抓取 。

                2:写法:以上三个格式综合使用,例如:我们要屏蔽/skin/文件夹里面的一部分文件,但是又希望抓取到/skin/文件夹里面的/css/文件夹,书写技巧:先禁止抓取/skin/文件夹,后面再允许抓取/css/ 文件夹就可以了。

                        Disallow: /skin/ 表示禁止抓取/skin/文件夹

                        Allow: /css/表¤示允许抓取/skin/文件夹里面的/css/文件夹

                        注意点:前后都有斜杠表示文件夹。

                3:符号名词解释:

                        (1)*通配符 : 代表所有的 。 例如:

                          User-Agent: * 就是表示对所有的蜘蛛

                          Allow: /skin/* 表示允许包括/skin/文件夹以下的所以文件

                        (2)$终止符: 表示结束。例如不允许抓取.js结尾的文件,写成: Disallow: /*.js$

                四:常见屏蔽对象:

                        1:中文的链接-路径,抓取不友好,或者我们不需要它来排名。例如屏蔽“联系我们”:Disallow: /lianxi/

                        2:搜索结果页面,重复的质量低的。例如:

                        https://www.shiguangkey.com/course/search?key=%E5%BB%BA%E7%AD%91&cateKey=%E5%BB%BA%E7%AD%91

                        https://www.shiguangkey.com/course/search?key=%E4%BD%A0%E5%A5%BD&cateKey=%E4%BD%A0%E5%A5%BD

                        技巧:先找到规律。假如我们不允许抓取以下的 ,写成:  Disallow: /course/search?key=*

                        3:动态路径,链接规律:?%/ ?等等  例如屏蔽带有?号的动态链接: Disallow: /*?*

                        4:js文件的  Disallow: /*.js$  备注:官方的说法,关于js使用建议

                        5:网站的目录:模板目录、插件目录、后台目录。。。。。。

                (1):wordpress:如图
                562333
                (2)织梦程○序的。如图:
                55222

                五:编写误区:

                        区别性:例如

                        Disallow: /ab=Disallow: /ab*

                        Disallow: /ab/ 前后有斜杠的/ab/代表单个文件夹

                        Disallow: /ab = Disallow: /* 斜杠代表了整个网站,范围更广。

                        例:

                        Disallow: /ab 这个规则对于以下两个链接都是屏蔽的:Disallow: /abc   Disallow: /ab/123

                        Disallow: /ab/ 这个规则,只对 Disallow: /ab/123 生效,对于Disallow: /abc是无效的。

                六:网站安全:Disallow: /dede 就知道网站是〗织梦做的,就会暴露网站程序。

                        1:织梦后台是可以修改程序的,例:Disallow: /dede 把dede改成ffff 即:Disallow: /ffff

                        2:wordpress 呢, 例: Disallow: /wp_admin 修改成:Disallow: /*admin

                七:检测:写完robots文件后,记得检测一下文件。我们可以到百度⌒ 站长平台校验,地址是:http://ziyuan.baidu.com/robots

                八:由于蜘蛛首先抓取的是robots文件,所以我们需要把我们网站地♀图【网站链接集成】写入到robots文件里面,可以放在文件最底部,方便蜘蛛更快抓取和更好收          录。

                        总之robots.txt文件是个比较严谨,书写过程严格按照规则来,当然最重要的是写好之后要检查,以防书写错误,导致蜘蛛抓取不到。

                转载请注明来自:/jz6ymd/seoskill/86617.html
                文章标签:无锡网☆站优化,关键词优化,关键词排名,海之睿
                30 总评论数
                留言列表
                Loading...
                页 共30
                海之@ 睿无锡网站SEO优化推广营销公司

                —— 海之睿微信公众号 ——

                海之睿SEO优化推广申请

                • 公司名称
                • 姓名
                • 手机号
                • 联系邮箱
                • 推荐人

                  无推荐人的▓话写:无

                *为了准确获取解决方案,请注意填写有效信息!