 LLM:    -.   , RAG, Fine-tuning   API
 


      (LLM)  ,       ,     API    .             RAG,   (LoRA/QLoRA)    -.     ,   152-      open-source .







 LLM:      -

   , RAG, Fine-tuning     API



 



   GPT Image 2



  , 2026

  GPT Image 2,  , 2026



ISBN 978-5-0071-5358-4

     Ridero




.       


         :     ChatGPT, Claude  YandexGPT,    -   -      .   .       .    .

    .   (, )   ,      .  ,  - ,    ?      : ,   .    , CTO     -   .

 :     ?

   .   ,  1000   YandexGPT Pro 5.1   0,80 ,  GigaChat Pro  0,50 ,    DeepSeek ( API)   0,112  ( ,     ).       ,    .       ,    ,       .

   0   .       (   )      .          .

   

,       .    ,     .   -  ,                   ( 152-   )      .

  (On-Premise) ,       .         .    ,     .

 ():        152-     ()    .            ,   .

 :     ?

         ,    .        ,    ,             .          .

         (, ,   , -,   ),        .

     ?

               -.          .       .

   I     (AVX2, VRAM)    . (:  ,   DeepSeek  Qwen,    MIT  Apache 2.0,    .     Hugging Face     ).

   II   Ollama  LM Studio,   ,        .

   III       (RAG)       (Fine-tuning).

   IV    ,    ,     .

   V        -.

   ,     ,     .  .




 I. : ,    





 1.  :      ?


  ,         ,   NVIDIA   .    .       GPT-4    ,   .        open-source    ,     ,        .

,     ,      .     ,    ,      ,         .



1.  :     7B, 70B  671B?

    , , DeepSeek-R1-Distill-Qwen-7B,  7B     7 .  ()  ,  ,  ,            .

  ,   ,      .   :

   DeepSeek V3/R1  671   (671B).      ,       .      .

  ()  ( 1.5B  70B)   ,     ,    .      ,       .

 ,    ,    .    :    ( 1) +   ( 2) +  ( 3).      :    ,   .   ,       .



2.  :   

    ,          .     ?

1.  (CPU):      AVX2 (     Intel Core  AMD Ryzen).  AVX2    Ollama        .

2.   (RAM):    16 .        (14B-32B)   RAG (  ),   32   .

3.  (SSD):   .    8B    4  16 .    50      SSD ( NVMe),          .



3.  CPU  GPU:    

  LLM    ,    (CPU).   llama. cpp (   Ollama)   .        MIT,      .   : .

   ,      ( 35   ).  (GPU)   ,     .

 NVIDIA:        CUDA (,     ).      RTX 3060 (12 )       .

 AMD  Intel: ,          (ROCm  AMD, DirectML  Windows).

   (Intel/AMD iGPU):     .       ,      CPU   .



4. : ,    

 ,      8 ,    16 ?    .

          .   :         (FP16)    (INT4  INT8).

   8B    16  (FP16).

    4- (Q4)     45 ,   9095%  .

      816       7B-14B   GGUF (4-bit).            .

:    ?

  :       (VRAM).    ,      (RAM)  ,      1020 .

   8  VRAM     7B-8B (Q4).

   16  VRAM    14B (Q4)  8B (Q8).

   24  VRAM (  RTX 3090/4090)     32B ,      .

 ,     .        ,      .

  (    ):    (On-Premise)      ,         152-.          (   ,    ,   )     .




 2.  :      


        :      (VRAM).   ,      8  12 ,     ,     16  30 ?

          .    LLM      .     ,   ,     GGUF      ,        .



1.  :   ?

   ,     ().              ( FP16  FP32).      .

          10-   .    .

,        RAW ( 50 )    JPEG ( 5 ).        ,   JPEG   10  .     JPEG  .

      (16 )    (8    4 ).       ,    24  .

  8B   FP16 = ~16 .

  8B   Q8 (8-bit) = ~8.5 .

  8B   Q4 (4-bit) = ~4.5 .



2.   GGUF       ?

   Hugging Face,        :.gguf,.safetensors,.bin.    Ollama  LM Studio    GGUF (GPT-Generated Unified Format).

GGUF    ,    llama. cpp (,      ).   :

1.   :       ,  ,  .      .

2.  : GGUF       (VRAM)   (RAM).       , GGUF   VRAM   ,     RAM (      -    ).

3.   CPU:     GPTQ  AWQ (     NVIDIA), GGUF    .

 :  (   GGUF)     .     (DeepSeek, Qwen)       (MIT  Apache 2.0).     Hugging Face      (Organization)     ,        .



3.  : Q4_K_M    

       Hugging Face,    : q3_k_s.gguf, q4_0.gguf, q5_k_m.gguf.   ?

 Q (Quantization) + :    . Q8    ,  . Q4   . Q2   ,        .

   :

 _0     ().

 _K    K-quants ( ,             ).

 _S, _M, _L  Small, Medium, Large. ,      .

       `Q4_K_M`.   ,   ,      ( 9597%  ).



4. :    ?

     (VRAM)    (RAM).  :

 8  VRAM:     7B-8B   Q4_K_M (  4.5 )  Q5_K_M ( 5.5 ).   (14B)    Q2  Q3,     .

 1216  VRAM:    8B  Q8_0 ( )  14B  Q4_K_M.

 24  VRAM   ( 32+  RAM):    32B  Q4_K_M  14B  Q8_0.

  CPU ( ):   7B  Q4_K_M   .

:      (Q8),     .   14B   Q4,  8B   Q8.    (14B)   ,     (Q8)   .

 Troubleshooting:  

:    Q2  Q3,     ,       .

:    .        .   Hugging Face    Q4_K_M  .

:  ,     1   ,   .

:  ,   (Context Window)  .   Q4_K_M   4.5 ,           (  KV-cache),       VRAM,    RAM.      (,  8192  4096 ).

  :       4 ,     (152-) ,    (SSD),     ,     (RAG),     .      ,       .




 3.     : ,   


 -          :     .      ,        ,     LLM   .

      ,     :     ,     ()       ( ).



1. :     ?

         ,    .        ,     ,      .

      .         (BPE  Byte Pair Encoding).

    ?

       .     : -   (, , )       35 .

  :  ,  ?    79 .     Hello, how are you?   46 .

     ?

1.  :       (, 4096, 8192  128 000).      ,       .

2.   :      .         ,     ,  KV-cache (      )    .

:  - (,  Hugging Face  Tiktokenizer),   ,     .



2.    ():    ?

    ,    .     ,      (    ).      (embeddings).

   ,      .         .

 ,    :

 ()   () +  () ?  ().

:

 ()   () +  () ?  ().

     LLM?

     RAG (Retrieval-Augmented Generation),        III.     PDF-,     (),         .    :  Embedding- (nomic-embed-text, bge-m3)     (Apache 2.0  MIT),        . :      Embedding-,     LLM ( DeepSeek).    ,        ,    ( ).

  :     .      (ChromaDB, FAISS)       (),       152-     (,   ).



3.  :     ?

  ,       ().    ?

   :

 =    * ( 1) +   * ( 2) +  * ( 3)

       ()    ( ).    ,    .

 LLM    ,   .     ( )       .

      ,     ()   .       ,    .    .  ,        ,   temperature ().   ,    ( )  .




  .


   .

   ,     (https://www.litres.ru/book/andrei-ladygin-34142017/lokal-nye-llm-ot-razvertyvaniia-do-sozdaniia-avtonomnykh-ii-74757837/)  .

      Visa, MasterCard, Maestro,    ,   ,     ,  PayPal, WebMoney, ., QIWI ,       .


