SEO 2020-
 


    ,  . JavaScript, , , robots. txt, canonical,     URL    ,     ,   .      SEO   ,     .         .





SEO  2020- 



  



   , 2026



ISBN 978-5-0071-2792-9

     Ridero




SEO  2020- 

 



2026













 I.   





 1.     





,   ,  ,    ,      .


  URL    : , , , , , .    ,      -       .

      .    URL  ,    .                 ,      . ,   ,  JavaScript     ,           ,   .      . ,     ,    . ,                   .     ,         ,       ,       .

    SEO.   .  ,     ,      .




,   


    ,    ,        .    ,    ,  ,    ,  .   ,   ,      .

     .

       ,   ,       ,         .   URL ,    JavaScript,   ,     :        ,          . Xml-  (sitemap. xml)       , ,  .       .          URL    : canonical    ,  hreflang     URL.

          .   ,        ,  -        .   :     - ,    .        .     .            ,       .




SEO  ,   


   ,      : SEO      . SEO   ,      ,    ,     .      ,  ,       ,        .

        .       HTML-,    URL.    ,             .           ,  ,         .

        -  ,  ,     -      .   ,              .    :          .        ,          ,          :  -        ,      .            .




    


        .       ,  ,    ,  ,     .      .         :     ,    : , ,   , ,         .       ,  ,   ,      ,        .

          .    ,        :   ,  -,  noindex.   ,     .        ,          ,   ,  ,    ;  ,    sitemap. xml,  ,     ;     URL.     .          ,   ,           ,      .     ,         ,      ,     .

  ,        .       SEO ,     ,    -: , -, ,  ,    -           .     -     ,          ,     -   ,      .           ,    ,  ,      .




  


   ,                        : ,   , ,     JavaScript, ,   sitemap, ,    , ,   canonical  hreflang.        .        ,     .

              ,    URL-,   ,   .       ,     SEO   ,                    ,    .   ,   SEO     :       ,     .    ,     , ,   ,      .  ,         ,       .




 2.    



,   2008   ,  ,   2015   ,             .

  .   URL,   HTML    ,      ,         HTML-      .            .   , ,               HTML   ,    ,   .

  .   -   ,          ,   HTML-    JavaScript-,          :  ,    ,     .                 ,        .




   


      ,        . -   , , ,                . ,     ,  ,   : XMLHttpRequest     ,        Gmail  2004 ,         .

        ,        ,   ,         single-page application, SPA: ,         ,       ,     . AngularJS,   Google  2010 ,      ,   .    ,      Angular,    AngularJS      -  . React,    2013 ,            .

         ,      ,     .   .                   ,  . -       , ,  .   .




 ,     


  ,    ,         ,                 :  SEO-      ,          .        ,            . SEO         .

       .      HTML    ,       .        URL   ,         JavaScript        HTML,    :  JavaScript,   ,   API     .   URL,          ,     :  ,   ,  JavaScript,         .                      ,       ,        .

           2000-   2010-.  2009  Google       AJAX-:     URL hash-bang  site.com/#!/page         (?_escaped_fragment_=)   HTML-   .       client-side ,     ,      . Twitter    hash-bang URL        2012           History API  pushState (),         .   Google         :   2015     AJAX crawling scheme, ,  Googlebot       JavaScript-  ,          .

       -  SPA-     ,    ,   ,             .  ,       ,         SEO  JavaScript-     ,   ,  hash-bang,      .




    


          .     ,        ,   ,       ,       .      :    ,  HTML    ,          ,        ?

    ,         (server-side rendering, SSR),    (static site generation, SSG),     (incremental static regeneration, ISR),  ,         .       :   ,                   ,         ,  .    ,         SEO,     .

      ,    ,      ,   JavaScript-     2012 ,  .            ,  ,       ,     .          .




 3. JavaScript    



Google    JavaScript,        ,     ,   ,    ,  SEO-     .      .   ,       .

Google    JavaScript      .  2019 Googlebot    (evergreen)  Chromium,       Chrome     ,  Googlebot             API.  Googlebot        ,    .      ,   ,        .              JavaScript-SEO.




       


   Google,       : ,       ,  .  Googlebot  HTML-       , ,       JavaScript .         ,    ,      ,   .          JavaScript,      ,       ,   Google, Web Rendering Service,       Chromium,  ,          DOM   .

             :     Google,    ,    .    :    HTML      ,      .    Google   :         ,    .              -              Google,       Google  .       ,    .




    


       Google    JS-,           :    ,               .

       .              ,     ,       ,      :     ,      . Google  ,          ,        .

    . Google        :    ,         . ,          ,    ,      ,     ,      .

  -  ,       .         ,      ,   :   2025  Google   ,     -200 -,     404,     .  JavaScript-          404:     -,   ,   JavaScript-       .

 noindex  ,         :   noindex     HTML, Google      .     JS-:   ,  JavaScript      noindex,        ,     .

,     ,   .  robots. txt,       JavaScript  CSS,    ,    ,       :     HTML-,      ,    .           JavaScript SEO                  ,       ,   ,   robots. txt                   .

,     ,  Google    . Google  ,  Googlebot  Web Rendering Service    ,         .     :                  .         .




  Google


 ,     ,       Google,     . Bing     JavaScript,         Google.   ,        ,         .      AI-      Google  .    Google JavaScript-                 ,          .                        ,   ,     .      :  ,    ,     Googlebot,         .




   


,       ,    Google  2026       ,    2010-,        ,    .     ,   ,       ,    , -   ,     :      ,           .

   ,  JavaScript  .     ,         .   :          .

      ,   ,    API        , SEO      .   ,     ,       ,   .

        SEO.  ,         SEO,   ,  ,    -    ,    .        ,       .                      ,    .




 4.    SEO-



    -   -.        HTML.          .    HTML        ,             .

        .    ,  ,   ,        .     :                ,       ,    .

    SEO           ,    JavaScript.   :          HTML   ,      .

     ,       JavaScript,   ,     ,        HTML-.       SEO- .                .

      .




SSR:    


    (server-side rendering, SSR)   HTML  :        ,  HTML       .      :         HTML,    ,       JavaScript.

      ,      SEO   . HTML      .    ,         .    ,    :          .    SSR        CDN,            .

    .      HTML   ,     :           ,  SSR  .  SEO    ,        SSR,  ,        ,     .

  SSR       .     :        HTML.    URL,   canonical,   ,        .

       SSR    .   SSR         ,      CSR   .    ,    SEO,       .




SSG:    


   (static site generation, SSG)  HTML ,    ,       .      ,     ,     CDN,        .             .

SSG     ,      : , ,  ,    .       ,   , , canonical        HTML.        ,    .

  SSG   ,    . ,         ,      ,        SSG.       ,     .     ,   -     .

     ,     .  ,               . SSG   ,              .




ISR:   ,   


     ,  Next. js   2020        (incremental static regeneration, ISR). Ÿ  :  -   ,          .             ,      .        :          .

        .       ,         .

 SEO      ,     .    SSG,     HTML     JavaScript.            .

       SSR  CSR,       -.              ,    ,        .

     ,      .   ,               ,    .




 :    ,   


           . ,           SSG,     ISR,      .    ,       ,   CSR.

          ,     .             HTML ,         .     ,           .

      ,     CSR, SSR  SSG.           .  SEO   :    JavaScript     .  ,         ,   ,     JavaScript    ,     .

           .      ,               .




 SEO     


     .       SSR:     ,             .

  SEO-   :                 ,      .       JavaScript,    ,      .

         SEO:        ,  ,           .








  -   ,  ,   SEO-       .    ,         .              2026       ,    .







      .        HTML,         ,      .    ,    ,    ,             .

     CSR, SSR, SSG  ISR       SEO-.  :   ,    ,             .

  ,         . ,    ,     ,           .           ,         ,   .

      SEO-   . SEO-         ,    ,   ,   ,              .

      ,     .    ,      :     URL,  ,  ,        ,      .




 II.      





 5.   URL   



   :      ,       ,    :   .     . URL      .        ,  ,   ,    ,    JavaScript,           .

              .       .        URL  ,    ,            .

      .  ,          :  , , canonical        .       .      ,  ,     ,           .

     .    Google        ,   ,   .   ,     ,   URL,  ,  , ,            ,       Google.

        .    ,        .          .         :   ,    ,           .




Discovery: URL     


   ,   :       ,     URL.    :     ,  ,   ,  sitemap,       .  Search Console    URL      ,      ,       .

 URL     ,       .   ,       :       .

    ,  Google   Search Console  Discovered  currently not indexed.            .  ,  Google    URL,      .    Google   ,     ,        .

 ,   URL       .  ,       ,         .




Crawl scheduling:   


 URL  ,       ,            .

  Google       : crawl capacity  crawl demand. Crawl capacity ,   Google          .        ,     . Crawl demand,   ,   Google      URL.   ,  ,    ,   ,       .

     :          .         ,     .            .

             Google    .    Google  .         ,           .   URL       .

         Discovered  currently not indexed. URL   Google,         .           .




Fetch:  HTTP-


 URL   , Googlebot   ,          robots. txt.        URL   .   robots. txt       : URL,   ,             .

  , Google  HTTP-.      .    ,       200,        .

       .  , Google  ,     200   ,        HTTP    .           URL,    ,      .




Render:  


     HTML,          .  ,   JavaScript,  : Google       ,     .

   ,       :  JavaScript,       DOM.             .    HTML       .

    :           .    Google    ,      .        Google,    ,        .




Parse:      


  HTML,      ,      .   , , ,       .

       ,       ,  ,        .       JavaScript,     HTML,     ,           .

    ,      :         .     ,    , sitemap  ,        .

         .      URL       ,           .   canonical       ,   ,  Google   .




Indexing:     


           .       ,    ,      ,    ,     .      , Google    URL  .          ,       .       ,       .

           .      ,    ,       ,         .

     Search Console.  Crawled  currently not indexed ,  Google    ,       .      :     .     ,    .     Google    .    ,   .




 ,   


        ,     .

 URL    URL .     ,             9 URL  .

 URL    URL  .     ,           .          .

  ,  : URL     URL  .   .        ,          .




    


     Google          . Ÿ   :     .



     ,      SEO  .                    .

 URL   ,        .  URL ,    ,       .      ,    ,     HTTP   .       JavaScript,   .   ,        ,    , ,     .

         :            URL         .

  ,     ,   :            .      URL        SEO-.        .




 6.  :     



              Google  N     .      ,  - - - .         .

Google       :                .          ,              .

     , Google      : crawl capacity (      )  crawl demand (     ).    ,                      URL.




    


Crawl capacity ,         .         .      , Google    .          5xx   429,     .

  Google    crawl capacity limit,  hostload:     ,       .   Google  2026   ,         ,            ,         .   ,             .

Crawl demand    :         URL.       ,      .          ,  Google       .          ,       .

     :          . Google     ,       .      ,  ,           .

        .  SEO       ,    Google      crawl capacity  crawl demand.     ,     ,             URL.




      


             2026 :  crawl capacity (  )       Google,        .

    Google,       ,    ,     ,      . ,         .         ,        .

 , crawl capacity      ,       Googlebot.    ,         ,       .      .




     (  )


   ,   Google     :         .       ,    ,     URL ,      .              ,       .

     .   ,   ,    .      ,   ,  URL    ,          . Google         .

       .       URL-,       .            =&=42&=,       ,         URL,    .

       crawl capacity (      )  crawl demand (     ). Google       URL,  Googlebot    .     ,        .

    URL        .        ,   ,       .     URL      ,         .       URL-   SEO-. .




    


             ,      .        ,    URL    ;    ,         ; ,  -  URL       ;     ,        .

           .        .       URL. ,         ,         URL- .      ,        ,     .




 ,    


  ,     :        ,   Google     ,     .     ,  , ,           URL.

     URL   .   ,       .       , ,     URL,       , ,      .         Discovered  currently not indexed.

       :      ,        .     :                URL-.

         ,     .     ,           .

 ,   URL-   , ,            ,     ,    .




 7. URL-   



     -     URL,     .   ,   .   , ,   .      .  ,  CMS  .       .        ,       .

     :     ,       .           URL.      ,     ,         .

  URL-            .    ,        .            ,        URL,     .




   


  URL-   ,       .        .      ,    .  -           URL,       .

          .  , ,       .     :  CMS             URL.         .

     .        ,        URL.      ,             .     :             .        ,    .

,         .                .  ,        ,      ,     .




        


    ,    ,         SEO,  .

   Google Search Console        URL.     2009   Google Webmaster Tools   ,        :           .   2022  Google     .    , ,   ,   1%     . 26  2022     .

  Google       .  ,       ,  -   robots. txt     .   robots. txt    URL,    ,         .

    .        rel=next  rel=prev,          .   2019  Google ,          .    ,  Google      .       :   -    URL,      .

         ,    . ,  -         ,     .     ,          .

  URL-         :  URL   ,              .    ,        .




     


  ,  URL          ,    .       ,       .




Robots. txt


Robots. txt    URL.     robots. txt,        .      ,       6.

      .       ,      ,   noindex  canonical,     HTML.    URL       ,       .    Google      .

 robots. txt        .      ,      ,         . Robots. txt       ,      URL     .




Noindex


Noindex   .     ,       .     HTML     HTTP-.   noindex,        .

    : robots. txt  noindex      ,     .  URL   robots. txt, Google     , ,       noindex.   URL         .




  .


   .

   ,     (https://www.litres.ru/book/ivan-sergeevich-diskin-34078024/seo-v-2020-e-gody-74503594/)  .

      Visa, MasterCard, Maestro,    ,   ,     ,  PayPal, WebMoney, ., QIWI ,       .


