  . ,   
 


                .          :          ,    .      :       ,    ,     ,      ,         .





  

,     



 



  Created with Grok



  , 2026



ISBN 978-5-0069-9184-2

     Ridero




 I.  LLM   





 1.     





1.1.    LLM  


        ,     .   -  -,  ,   ,            :        (LLM  large language model, ,        ).  ,    ,      ,             ,     .

,       ,   ,    .  ChatGPT  ,          .          :  ,  ,    ,     . ,      ,    ,          ,    ,  .                .        ,           .

     ,  .  ,           ,  ,        .  Llama    DeepSeek V3     ,   :        ,      ,       .      ;        .   ,                ,     .

        .     ,      .    -;           ,        :       .       -,       .      :          ,         ,     152-    - ,            .      (   ,       )       API    ,  .             ,     ;          ,      .

        -     ,   .         ,  ,       ,          .     ,      ;          .      .          :    ,   ,   ,     .           ,    . ,      ,     . ,    ,       :        ,    .

    . ,   ,        ML-   :    ,  ,   .          .  LLM   .          ,    ,     .   ,          ,    .   ,     ML  ,              .     ,     ,     .       :       ,    .




1.2.    


         . Ÿ    ,      ,   :    LLM  ,     ,        .     ,    .      :          ,  - ,     ;      ,          , ,     ;     ,    ,     .        :     LLM  ,        , ,       .

    -   Ȼ,  , LLM   ,    :        ,      .    ,      ,   ,         ,   . ,      ,      ,        ,    .

        .                : .   ,        ,      ,    ,       ,     .        ,    ,      .    ,               .       ,    .       ,  ,      ,      :    ,  ,       ,   .     ,   ,   ,     ,      :   ,      .             ,      ,      .      LLM   ,        ,  ,                .     ,   .

    ,   ,   .        ,          .     ,     ,     ?     ,     ,      ?        ,  , ?     ,      ,   ,       ?      ,     ,      ?        .  ,       ,       ,      .

            ,        .        :  -   LLM    ,      ,        .    ,    ,      .      ;   ,     .         ,       .




1.3.     


       X.           .          LLM   :    ,      -    ,    ,   ,       . ,   ,              .

  , ,  .      ,       .      ,  RAG   API:       ,  ,       ,    .    ( S)    , ,  ,     .    ( A)      ,        Llama  DeepSeek      .    ( B)      ,     .    ( C)    ,   GPT-4/5, Claude, Gemini,  ,          .       ,        .   ,   ,       6;  ,     ,    10.

    .  ,         10,        .     ,   ,        ,    .   ,        ,   ,    .   ,     ,  ,             ,       .  ,   ,  ,        ,           .   ,  ,     :           ,    .   ,  ,       ,         .    :   2         LLM       ;   3  4      ;   5  6        ;   7  8    ;   9  ,     .   10                  .

   .              . ,     ,    :   ,  ,   . ,      ,    ,            ,       .      ,    ,      .     ,     ,   ,         .          ;       ,  ,  ,   .

       .       LLM    ,   ,  ,    ,    .          ;      ,          .             ,    ,   .       ,      .       ,  ,      ,   .          :     ,   ,     .




 2. ,   



  LLM      ,     .     :  ,        .   ,   ,       .          ,      ,   ,   .    :   LLM  ,    ,     ,         .




2.1.     LLM


  ,     :  LLM    .    ,       ,     API   ,    ,     .      :       , , , ,   ,   ,       .     :        .    ,    ,         ,     .      .        ,   .

      .     ,     ,        .       ,             .           ,    .

      .      (pretraining):            ,    ,     .    .        .      B ()  C (),     6.  ,   ,     ,    GPU,   ;       67.     :          ,    ,       .

     (continued pretraining):      ,  Llama  DeepSeek,          .      ,   ,      .    ,          ,    ,       :     .      A ()    S ().        LLM   B  C:     ,      .       ,       .

    .         .   Llama  DeepSeek   ,       ,              .     ,        .    .     ,       ,      .    LLM     .

  ,              LLM.            ;       ,     ,   .  ,      .




2.2.       


     LLM     ,     ,     ,    .        --.  ,           ,     ,  .        ;    ,   .    :       .

   RAG (Retrieval-Augmented Generation): ,         ,     .          ,         . RAG        .     ,      :  ,  ,   ,   .    ,               .        ,   ,       RAG.

   prompt engineering:    ,        .  ,  ,          ,   .         :   .      ,     ,   .        ,     .   ,   ,    ,         LLM,        .   :       ,  ,   .

   LoRA (Low-Rank Adaptation):          .          ,     ,      .          .   :                   .     LLM:     ,     ,   LoRA-  .        ,            ,    prompt engineering.

    API:            . ,  ,     . OpenAI, Anthropic, Google                .                    :   ,  RAG   API.

     .      ,    .  LLM    ,      ,     ,   .     :             ,      ;    ,   ChatGPT,    ,     ,      LLM.     5         ,  ,     .




2.3.   GPT  


  ,    ,     GPT  .     ,         GPT-4  GPT-5.     GPT             LLM    ,  -       .    GPT    :     - ,  ,   ,    .

     ,    .      ,     ,   GPU     ;        6   C.         2436 ,    :     ,     .        ,   ,   .             ,  .     :  GPT                  .        ;   ,      ,   .

    ,      Boeing 747  .    .    :            .   ,     .

   Boeing    ,                    .  ,   ,   ,     .

      .  ,        ,     .       24      .        49 .      1824 .      .   ,    :  ,   ,  .    ,       ,         .      ,      :  ,  ,  ,       - ,        .     LLM   ,     ;       6.        OpenAI.   :   ,    .    LLM     GPT.

   GPT   LLM  ,     .         GPT  ,      :      ,        ,  ,  ,   .         ,        ;                .     ,        ,                .

      .        GPT  ,              ,     - .     :   ,      .  ,  .         ,   .




 II.     LLM



 ,        ,   S/A/B/C    .    , ,        .




 3.  LLM



 LLM    ,      ;        .   ,   ;     ,   ,    ,    .  ,   ,        ,        ,   .

  6         :       ,         .




3.1.    


    ,     ,     :      .  , ,           ,  .        ,    ,       .

      ,  -  .         ;         .        ,    ;  ,          . ,      ,        .

     .     ,    ,      ;      .   ,     ,   ,    ,      ,  ,   .      ,    ,   :   ,   ,        .

    :       ;      - ; ,         ,     .       ,    ;   ,  ,         ,    .    ,  :   ,  ,   ,  ,     ,    .

   ,     .  ,    ,      .     :      ,    .        .     ,  :         -   ,   .           . ,     :   ,    ,    ,    .

     ,     . ,        ,               .         ,      ;              ,        .                     ,         .

    ,    ,       .        ,    .    ,   ,       4.2. ,   ,     :  ,   (   ,    ),        .           ,      .     ,    ; ,   ,       .

,  ,      ,  ,                   .




3.2.    


     .       :      (embedding)   ,      ,      ,      .       ;      ,        .       ;       ,    .

,     ,   .      ,     ,  .       ,     :      ,   .     ;     ;        ,    .        ,    .    :   LLM   .    ,    ,   .

        .     ,         :  , ,  , -.     ,         :  ,   ,   .     ,      ,   ,   ,   .      ,     ,    :     ,       ,     .

           ;     .             ,  ,    ,  .      :        ,     .      ,   ,        ,    ,    .    ,      2:                  ,   ,      .   ,   ,    ,       ;     ,              .

   ,   .    ,   ,    .  , :      ,  ,       ?   .        ,            ,     .       ,   ,  .

,     ,    ,         :          .         ,    ;        .   ;     . ,              ,      ,      .

              ,        ,                 .    ,    ,  ,       .

   ,   ,      .         ;  ,   LLM   ,  . ,   ,      :  ,  ,     ,       .      ,   .    ,      ,         .    ,    :  ,  ,   .            : ,        ,      ,             .      5,        ,    7   .

,    , ;          .           ,       .        LLM , ,    .




3.3.     


   LLM      (transformer).   ,  ,   ,     .        ,           . -   attention; -  .

    .          ,      ,    .          ,    .          .    . ,      -      ,  ,   ,      .        ;       .

   ,      .    ,  ,            ,   ,    ,    .    LLM    ,      .      :       ,     .

 ;   .      ;          .  ,    ,    .            .

  ,       .    ,  .   ,     ,      .    .    ,      ;    ,   ,        .   ,  ,      ,          . Ÿ  ;     .

    .    :   ,        ,          .      ;     ,   ,   .  ,        ,    ,         -     ,   .

        , , ,    :    .   .        ;   ,   ,       ,      .            ,       ,           ,   .      ,    ;       .

 ,     ,     .   ,    ,            ,     ,   ,         .   ,     ,   ,  ,            . ,                 ,      ,    .         LLM,      :      ,     .

         ,     .      :    ,              ,  .   ,   ,   .      ;     ;     ,      ,   .        LLM,      :           ,             .

      .    ,   ,        ,  ,  ,         ,  ,  .   ;        .    ,   ,      ,  LLM    ;   9         .

  .  ,              ,      :   ,  .




3.4.  


               .   .  .            ;    ,    .        ,     ,     .

    .     ,   ,     ,      .       :      ,        .     , , , ;      ,        .          ,    ,        .

,    ,   .           .      .     ,      ,      ,   .      7B  70B,         ,     B  billion.   ,     :   Llama    ,    ,    ; DeepSeek V3        ,     .         ,   .

    .      ,               .        ;          ,  ,  ,       .     ,       ,    ,   .     ;  ,   ,     .

   ,   .         ,  ;     ;   .  ,     ,          .    ,        :  ,       ,    ,      ,  ,      .

          .     .       ,     ,   ,   ,      .    ,    Chinchilla:             .              ;         .                .      3   7,         ,   ,             .

    .        ;         , ,    ,    .     ,         ,     .         ,    :              ,    ,        .

         .   ,   ,                   .       ,          ,     ;     .  ,   ,           ,     ,   ,       .

 .          ;    ,    .         .     ,     ,  ,   ,    ;    ,    ,        .     ,                    ,     ,   .

      .      ,   ,  . ,     ,    .




3.5.   ,  


          : ,  ,  , .       ,      .  ,    dense  .       :      ,            . , ,     ,     ,     .

   .       MoE, Mixture of Experts        ,      .     :       ,       ,     .       , , ,     .         ;         .

       .  dense           ,   ,      ;    ,    .  MoE   ,   :           . ,   , ;      .          ,        - ,     .

      .           .        ;         .              ,         .     : MoE    ,          .

       . DeepSeek V3   MoE-:       ,         ;           . Mixtral         ,   ,       .      MoE-       ,     ,   DeepSeek  Mixtral    ,    ,       .

   ,    MoE    .  ,  . MoE   :          ,      ;       ,       ,     . MoE   :      ,       ,               . MoE    :       ,    ,        .  , MoE     :    ,        .         .

     . Dense , ,   ,     . MoE      ,      .     ,      :   ,     MoE;     ,      ;     ,   .     ,        .   6        B ()  C ();      .

      .      dense  MoE  :  ,           ,       .        ,   :   ,   ,   ,   .     : ,  ,    ,    ,      ,   ,     .      ,   .

 :   dense  MoE    ,       .     ,     ,      .      ,    6    S (),      : dense , MoE .   ,       ,        ,      .   ,     MoE ,    : dense        ,         ,         .

      .      ,        ,      ,    6.




3.6.      


         .       .       ,     .    :    .   :       ,    , , .        ,     .

 ,       ;    ,    -.       ,    . , ,  ,     ,     ,    .

    .                    ,       .

  ,    .      ,     .     ,  ,    :  -,   ,       ,      ;         ,   ,   ;    ;   ;  ,    .    ,  ,  ,   .    ,  :  ,  ,  ,  ,        ,       .

     ,   .            ;      .             ,   ,     ;       ;      . ,       ,         ,    .       ,       .




  .


   .

   ,     (https://www.litres.ru/pages/biblio_book/?art=73874399)  .

      Visa, MasterCard, Maestro,    ,   ,     ,  PayPal, WebMoney, ., QIWI ,       .


