 .    
 


        -   ,      ,  .   ,          ,   ,           -     ,       ,   .   .     ,       ,     .           .        .    .     .





 

 .    










 

   

 ..







        -    ,       ,  .   ,          ,   ,           -     ,         .

   .    - , ,  .    .     ,   ,    -    ,     .  ,   .   ,   .

   :        ; RLHF   ,   ,  ;   ,     ; ,     .

     ,  -     -       .         ,        ,    .   - , ,  -    .       ,  ,   ,  .

  :      ,   .   -    .  ,   ,   .




 1.    


.1. 



       ,  .    .    ,         Reinforcement Learning from Human Feedback.       ,     ,   : ,  ,      ,     .     -   ,     ,   .     -   ,       .     -   ,         ,       .     :   ,     ,         .      .     ,   .

   .     - ,            .    :    ,     ,     .    -   ,     , , .  ,     . ,      .

   .    ,         -  ,  ,  ,   .    .     -      ,        .   ,   - .    .    ,        -       .             .

   .     -  ,    ,     .      :  ,    ,   .   .    .      ,    .     -  ,   ,  ,        .

    -  ,  ,  ,   -    :    ,      ,         .      .




1.2. 


      .         - , , , ,   .     .         .

     .    :   ,       .    ,        ,      .   -      ,   .   ,      .      .     ,   .     ,   .

   -    .    ,    ,      ,    ,         .   .  .         :   ,  .        -      .           - , , .       ,     ,  , ,   .      ,  .

    .     :     .    ,    .   .     -   .       -   .    ,         .  :    .      ,  ,  .       .    ,      .        -      ,    .

     ,    .   ,      ,  .       .      ,        .     ,     ,       -   .

       ,   .     -       .        . ,    ,    .     ,     ,    -      ,   .

  ,   :      ,      -   ,     ,  ,      ,    .      -       ,     ,     .    ,      ,   .   .    -      .

   .    .   ,     ,    RLHF   ,        .




1.3. 


     ,         .    ,    ,          .          :       , , ,        .

     p  -p.      -.      ,   .   .    .    ,  .

    .       ,    ,  -  ,     ,     . Attention mechanism  ,   .    ,   .

         .     -          .    -  ,    .    .

   .     .         .  -    .  -   ,      . ,    , -    .   ,    .      ,   ,       .




1.4.       


                 .     .   .

.    .   ,        -   .         ,        . ,      , ,      -  ,   ,  ,    ,    .           .

.          .         - , , .     ,     ,     .    :      ,        .

.    .       .         .    ,      .          .     :    ,      ,   .

  .    , ,    .       .         .        ,       -   .

.    .        ,   .   :       .     ,      ,   .

    .    .       .    .     .    .    ,           -      .




1.5.      


            .         :  ,   ,  ,   .        -  ,      .

   .     .    ,   ,    ,   .   ,    ,        .     ,      .

:       .  ,     ,   . ,   ,   .   -   .   -   .    .    ,   .

     .    -       ,  ,  ,     .     .    .    ,   .




1.6.   :      


       .    Ȼ,  Ȼ,  Ȼ.          ,  .

   Ȼ -     .     .     .      .       .    .

   Ȼ -       .     .  -   .  -  .     ,      .

  RLHF- -      .     .  RLHF -  .      -  ,     ,   .  .  .

     .   ,   .         ,       ,      .      ,       - ,   ,      .      .




 2.  ,   ,    





2.1.  


     .  ,    ,  ,  ,  .    .  .    .   :  ,     ,     ,        ,  .

       ,    .       ,    .     ,   ,   .        .         -  ,  .

            .

  -  .   - , , .    ,         ,    .   - cogito, ,   , Dasein -     ,        ,    .  ,    .    .   ,   .         .

  -  .   - , , .    .    .     .   -   ,   .      ,     .     -    .    :     ,       .    .   .

     :  ,   ,  ,     , -  ,     ,  ,     .




2.2 Cogito  sum:     


         .   ,     -  ,   ,  .      :   . Cogito ergo sum.  , ,  .        ,    :  ,    .

   .  . Cogito ergo sum -   .       ,       .  ,     .    .

  .       .  .  .  .      ,   .         .   ,  .   ,         .

    .         ,  .    .   ,    .      -        .    ,    .    .    .

    -   ,    ,     . Cogito  :         ,   ,     ,  .

  .  .   .   ,    .    .   .  .       .         ,  ,  .     .    .    .

     .    ,    .    cogito  -     -  ,    .   ,       X,     X   . Cogito       .     -     .     .      ,   .

 ,   cogito  .  :  cogito .   cogito .  -  .      cogito ,   .

 ,      :   ,   .  ,    . Cogito    sum.    .       -    , ,   ,        .

   .   ,    . Cogito  sum  ,  cogito  sum,   sum  : , , ,   .    .  cogito .      -    .   .

 ,        .     :   ,         . ,   ,  ,      .        -        ,     . Cogito  -    .      .

 :  , ,  .  :  ,    .     .  .  .    cogito ergo sum   .  ,   .  ,    -      ,      .




  .


   .

   ,     (https://www.litres.ru/pages/biblio_book/?art=74047139)  .

      Visa, MasterCard, Maestro,    ,   ,     ,  PayPal, WebMoney, ., QIWI ,       .


