   
 


     30 

    ,      .

  : + (, , , , ,  + ).

      (),    .

      . , NULL,  ,   -    ,   .

   -        :   SQL-    Great Expectations, , Data Contracts  .





 

   










 ,    



 .



     ,   ,      ,   ,    .

       .      -    .      + :



   ,  ,  ,    (, , +  )        .

      :   ,   ,  , -    .



        ,     .



     

   ,         .   ()      ,      .    -   ,    production-.          .



 

,     , - , , , -,  -   ,  - .        .

         ,  ,  ,     ,      .

           ,     ,         (,   , 152-, GDPR,  ).

  ,          ,              .






   -   








,  100     .  : , , .         .



?  :

   (   )

    

    -   

    (  -   )



  ,    .     .     .        .      ,   ,  ,    ,   .

  -      .    ,    .  ,  ,        .







  -        -.         .       ,     .




        



  (19601980)

  .     .    ,    .



   (19902010)

  .  CHECK, FOREIGN KEY.       .      .



 Big Data   (2010)

 ,  ,    .      .   Data Quality Engineer.




 ,  DQ    



1. 

 - 10 000   Excel.  - 10    .      .   .



2. 

     .   , -      .      .



3.  

     .     CRM, ERP,  , IoT-   API.   -     .



4. . 

    - .  152-, GDPR,     .    -    4%     .



5.   ML. 

    .    .     ,           .



       .   .     -   DQ.




  



DQ   .  1990-   (DWH) -      .  2000-  SOX         .  2010- Big Data    .  2015- GDPR        .

      GIGO:        ,   .



    ?



        ,      . ,     ,      .    ,       -     -     .



    ?

 ,  DQ  .  ,    :

DQ   IT-.

      .  -,     ,    -.



   .

Great Expectations, dbt, Data Contracts -   ,   .        ,    .

    - .

    ,   :  600-   ( DAMA DMBOK),      .     ,   ,      ,      .

  -    .    ,     ,  ROI    ,      .



 

       ,    .  ,  ,        . DQ -   .     .



 : ,  ,       .   ,    ,   ?      .



,    ,       .       .       .






   -  




      ,    .   -     /  .   .       .    -      , .







,      .   ,     200 .    .    .   500 .    10 .   - 150 000 .   -  2 .     .   - .



  -    .   ,   .



 :    



          ,    ,    90%    .

  100% ,   .    NULL,  ,   .         -. ?       ,         .





      :  ,   ,   .    .    :          3 .       .    .



      .      ,    .





   -  .    -  .     ,  :  -      ?    - ,    .



  COPQ (Cost of Poor Data Quality)



    (COPQ)

  ( , ) +  (-   ) +  ( ,  ).

                  .



     










     ?     -   -     .         -  GIGO.  ,        .





 GIGO (Garbage In, Garbage Out)



    .   :   ,     ,  ,     .



GIGO  

Garbage In, Garbage Out -   ,   .



  

       -      ,   .     .      .



  GIGO (    )








 GIGO -    ,  




  .


   .

   ,     (https://www.litres.ru/book/sergey-degtev/kniga-o-kachestve-dannyh-73996788/)  .

      Visa, MasterCard, Maestro,    ,   ,     ,  PayPal, WebMoney, ., QIWI ,       .


