Управление качеством данных. Тренды бизнес-аналитики

1.1 Что такое данные в информатике? История концепции данных

Что такое данные в информатике?

В области информатики информация оформляется таким образом, чтобы ее было удобно передавать и обрабатывать. В современных вычислительных системах и сетях связи данные, как правило, преобразуются в двоичный цифровой код. Слово «данные» может использоваться как для обозначения одного элемента, так и для множества. «Первичные данные» – это информация, представленная в исходном цифровом виде.

История концепции данных

Концепция данных в контексте вычислений берет свое начало в работах Клода Шеннона, выдающегося американского математика, известного в качестве «прародителя» теории информации. Им введены двоичные цифровые концепции, базирующиеся на применении двузначной булевой логики к электронных схем.

Примечание:

Клод Элвуд Шеннон (1916—2001) – выдающийся американский инженер, математик и специалист по взлому шифров. Его часто называют «прародителем информационной эры». Шеннон заложил основу теории информации, которая активно используется в современных передовых технологиях связи.

Он разработал ключевые концепции, принципы и математические модели, служащие фундаментом для современных коммуникационных систем. В 1948 году он ввел термин «бит» для обозначения минимального объема данных (в работе «Математическое обоснование теории связи»). Важной составляющей его теории стало понятие энтропии, которое он определил как меру неопределенности, присущей передаваемому сообщению. Труды Шеннона «Математическая теория связи» и «Теория связи в системах шифрования» признаны краеугольными камнями теории информации и криптографии.

Клода Шеннона считают пионером в научном анализе криптографии, разработавшим ее теоретические принципы и обеспечившим введение ряда важных понятий. Он также оказал значимое влияние на развитие теории вероятностных схем, теории игр, теории автоматов и теории управления, объединенных под общим термином «кибернетика».

Двоичные форматы цифр лежат в основе центральных процессоров, полупроводниковой памяти и дисководов, а также многих периферийных устройств, распространенных в современной вычислительной технике. В ранних компьютерах в целях ввода данных и управления практиковалось использование перфокарт, затем магнитной ленты и жесткого диска.

На раннем этапе значимость данных в бизнес-вычислениях стала очевидной благодаря популярности терминов «обработка данных» и «электронная обработка данных», которые какое-то время охватывали весь спектр того, что в наши дни известно как информационные технологии. На протяжении истории корпоративных вычислений происходила специализация, и вместе с развитием корпоративной обработки данных появилась отдельная профессия, связанная с данными.

1.2 Как хранить данные. Типы данных

Как хранить данные

Компьютеры представляют данные, включая видео, изображения, звуки и текст, в виде двоичных значений, состоящих из двух чисел: 1 и 0. Бит – это наименьшая единица данных, представляющая одно значение. Байт состоит из восьми двоичных разрядов. Объем памяти измеряется в мегабайтах и гигабайтах. Единицы измерения данных увеличиваются по мере роста объема собираемых и хранимых данных. Например, термин «бронтобайт» означает объем данных, равный 10 в 27-й степени байтов.

Форматы файлов также используются, чтобы обеспечивалось хранение данных, например, мэйнфрейм-системы прибегают к использованию ISAM и VSAM. Другие форматы файлов для хранения, преобразования и обработки данных включают значения, разделенные запятыми. Эти форматы продолжали находить применение на различных типах машин, даже несмотря на то, что в корпоративных вычислениях стали применяться более структурированные подходы, ориентированные на данные.

Дальнейшая специализация получила развитие по мере появления баз данных, систем управления базами данных, а позднее и технологий реляционных баз данных с целью организации информации.

Типы данных

Объем цифровых данных со временем вырос от битов и байтов до десятков байтов, и в будущем объемы данных станут еще больше.

Развитие интернета и смартфонов за последние два десятилетия привело к резкому росту объемов создания цифровых данных. В настоящее время данные включают в себя большие объемы неструктурированной информации, включая текстовую, аудио- и видеоинформацию, а также журналы и записи веб-активности. Генеративный искусственный интеллект (Generative AI) способен генерировать синтетические данные.

Искусственные наборы данных применяются для обучения моделей искусственного интеллекта (artificial intelligence – AI) и машинного обучения (Machine learning – ML), тестирования программного обеспечения и предиктивного моделирования.

1.3 Прогнозирование, или предиктивное моделирование. Термин «большие данные»

Прогнозирование, или предиктивное моделирование

Прогнозирование, или предиктивное моделирование (predictive modeling), относится к сфере интеллектуального анализа данных, применяя прошлый опыт для предсказания того, что произойдет в будущем. Благодаря использованию технологий машинного обучения и статистических методов, удается создавать весьма достоверные сценарии и прогнозы, причем точность работы модели напрямую зависит от объема доступной информации для анализа.

Термин «большие данные»

Термин «большие данные» описывает данные объемом в петабайты и более. Вкратце, большие данные можно описать пятью «V»: ценностью, объемом, разнообразием, достоверностью и скоростью (value, volume, variety, veracity and velocity). По мере развития интернет- торговли бизнес-модели, базирующиеся на больших данных, стали рассматривать данные как актив. Эти тенденции привели к росту интереса к социальному использованию данных и их конфиденциальности.

1.4 Значение данных. Термин «данные» в науке

Значение данных

Данные имеют значение, выходящее за рамки их использования в вычислительных приложениях, ориентированных на обработку данных. Например, в области взаимодействия электронных компонентов и сетевых коммуникаций термин «данные» зачастую различают с терминами «управляющая информация», «контрольные биты» и аналогичными терминами, чтобы обозначить основное содержание передаваемого блока.

Термин «данные» в науке

В науке термин «данные» описывает совокупность собранных фактов. Это также относится к таким областям, как финансы, маркетинг, демография и здравоохранение.

1.5 Управление данными и их использование. Профессионалы в области данных

Управление данными и их использование

Рост объемов данных в организациях диктует все большее значение обеспечению качества данных путем сокращения дублирования и гарантированного использования наиболее точных и актуальных записей. Современное управление данными включает в себя очистку данных, а также процессы извлечения, преобразования и загрузки для интеграции данных. Метаданные дополняют данные при обработке. Метаданные иногда называют «данными о данных». Они помогают администраторам и пользователям понимать данные базы данных и другие данные.

Благодаря аналитическим технологиям становится возможным объединение структурированных и неструктурированных данных. Они все чаще стремятся к производительности в режиме реального времени, способны обрабатывать входящие данные с высокой скоростью и обрабатывать потоки данных для беспромедлительного использования в работе.

Идея базы данных для операций и транзакций распространяется на базу данных для отчетности и предиктивной аналитики данных. Примером служит хранилище данных, оптимизированное для обработки запросов бизнес-аналитиков и руководителей предприятий об операциях. Растущий интерес к поиску закономерностей и прогнозированию бизнес-результатов привел к развитию методов интеллектуального анализа данных.

Отметим что суть предиктивной аналитики (Predictive Analytics) заключается в том, чтобы предвидеть будущие события, например, спрогнозировать объем продаж на год вперед либо оценить риск возникновения дефицита денежных средств (когда именно это может случиться). В сущности, это комплекс подходов к сбору и обработке данных, опирающихся на информацию о прошлых событиях.

Анализ полученных и изученных показателей позволяет выявить тенденции и спрогнозировать, что произойдет в дальнейшем. Зная возможные сценарии развития, можно выбирать наиболее эффективные решения для возникающих задач. Важно помнить, что результат такого анализа не является абсолютной гарантией; прогнозы даются с определенной степенью вероятности, а не рассматриваются в качестве несомненного будущего.

Профессионалы в области данных

Профессия администратора баз данных – это ответвление ИТ-сферы. Будучи экспертами в области баз данных, администраторы занимаются проектированием, настройкой и поддержкой баз данных.

Профессия, связанная с данными, прочно укоренилась с широким распространением реляционных систем управления базами данных (RDBMS) в корпорациях, начиная с 1980-х годов.

Распространению реляционных баз данных способствовало, в частности, появление языка структурированных запросов (SQL). Позднее, в качестве альтернативы традиционным RDBMS, появились базы данных, не основанные на SQL, известные как базы данных NoSQL. Система управления реляционными базами данных (RDBMS) обеспечивает базу для многочисленных приложений и служб на предприятии. С технологической точки зрения RDBMS считается устаревшей. Однако прочная теоретическая основа технологии реляционных баз данных сохранила ее актуальность в не являющейся стабильной отрасли.

Компании нанимают специалистов по управлению данными или назначают сотрудников на должность ответственного за данные, которая подразумевает реализацию политик использования данных и безопасности, изложенных в инициативах по управлению данными.

Отдельный термин – «специалист по данным» – используется для описания профессионала, занимающегося добычей и анализом данных.

Возможность представить науку о данных в увлекательной форме даже привела к появлению художника по данным – специалиста по графическому и креативному представлению данных.

На инженерах данных лежит обязанность сбора и подготовки данных для специалистов по работе с данными и аналитиков. Им положено обладать умением работать со структурированными и неструктурированными данными из разных источников, чтобы сформировать качественный набор данных для дальнейшего использования.

Специалисты по архитектуре данных создают основу для эффективного управления информацией. Они формулируют правила, методы и схемы, регламентирующие сбор, систематизацию, хранение и использование данных. Архитектор данных – это квалифицированный ИТ-эксперт, который анализирует структуру данных в компаниях, контролирует бизнес-операции и отвечает за весь жизненный цикл информации. Он использует инновационные технологии для создания прогрессивных решений в области обработки и организации значительных массивов данных.

При подготовке данной главы использовался источник [2].

2.1 Зачем вам нужно управление качеством данных? Что такое управление качеством данных (DQM)?

Зачем вам нужно управление качеством данных?

С учетом шокирующего объема данных в 2,5 квинтиллиона байт, генерируемых ежедневно, и широкого спектра доступных онлайн-инструментов для анализа данных данные и аналитика никогда не были столь доступными.

Однако всем хорошим вещам сопутствуют и трудности, и компании часто испытывают трудности с правильным управлением информацией. Зачастую собираемые и используемые данные неполны либо повреждены, что приводит к множеству других проблем, которые могут нанести значительный ущерб компании. Обратите внимание на управление качеством данных.

Что такое управление качеством данных (DQM)?

Управление качеством данных (Data quality managemen – DQM) – это комплекс мер, направленных на поддержание высокого качества информации. Оно охватывает сбор данных, внедрение передовых процессов обработки данных и эффективное распределение данных. Оно также требует управленческого контроля за имеющимися данными.

Эффективное DQM признано необходимым для любого последовательного анализа данных, поскольку качество данных имеет решающее значение для получения применимых на практике и, что еще важнее, точных выводов из вашей информации.

Существует множество стратегий, которые вы можете использовать для повышения качества информации. Эти процессы, разработанные как своего рода «швейцарский нож» в разработке данных, подготавливают вашу организацию к решению задач, связанных с данными цифрового века, где бы и когда бы они ни появлялись. Когда речь идет об управлении качеством данных, интересно: почему оно важно, как измерять качество данных, на каких столпах должно основываться управление качеством и каковы методы контроля качества данных.

Поскольку отчетность является частью эффективной модели управления качеством данных, мы также рассмотрим несколько примеров ключевых показателей эффективности (KPI), которые вы можете использовать для оценки своих усилий в рассматриваемом направлении. Но сначала давайте определимся, каково определение качества данных.

2.2 Каково определение качества данных? Зачем вам нужно управление качеством данных? Основная задача DQM

Каково определение качества данных?

Качество данных – это оценка имеющейся у вас информации с точки зрения ее назначения и ее способности служить этому назначению. Качество данных определяется различными факторами, такими как точность, полнота, согласованность и актуальность, которые необходимы для удовлетворения потребностей организации в сфере операционной деятельности, планирования и принятия решений.

Зачем вам нужно управление качеством данных?

Хотя цифровая эпоха успешно стимулировала инновации по всему миру, она также способствовала возникновению так называемого «кризиса данных» – низкому качеству данных.

В наши дни большая часть операций и стратегических решений компаний в значительной степени основаны на данных, поэтому важность качества еще выше. Действительно, низкое качество данных является основной причиной провала передовых инициатив в области данных и технологий, ежегодно обходясь, к примеру, американским компаниям в 9,7 миллиона долларов (не считая компаний во всех остальных странах мира). В более общем плане, низкое качество данных способно повлиять на производительность, прибыль и общую рентабельность инвестиций.

Основная задача DQM

Основная задача DQM заключается не в формировании собственных оценок качества данных. Скорее, она направлена на увеличение отдачи от вложений в области бизнеса, где данные играют ключевую роль.

При подготовке данной главы использовался источник [2].

3.1 Большие данные и аналитика стали одним из важнейших конкурентных преимуществ. Первый шаг

Большие данные и аналитика стали одним из важнейших конкурентных преимуществ

Большие данные и аналитика стали одним из важнейших конкурентных преимуществ, которыми обладают организации сегодня. При этом, несмотря на то, что анализ данных стал проще благодаря самостоятельным BI-инструментам, управление качеством данных остается одной из самых сложных задач для компаний любого размера.

Обратите внимание, что BI-системы, или Business Intelligence, представляют собой набор приложений и средств, предназначенных для сбора и обработки данных, касающихся деятельности организации. Эти системы позволяют выявлять скрытые тенденции в информации и оптимизировать бизнес-процессы. К примеру, служба снабжения розничной сети может использовать их для изучения объемов реализации и востребованности продукции, чтобы более эффективно контролировать складские запасы. Торговый отдел же – для мониторинга прибыльности различных позиций и формирования цен на их основе. В BI-системе возможно создание интерактивных панелей мониторинга, где данные отображаются в виде наглядных графиков и схем. Такие панели часто называют графическими интерфейсами, поскольку пользователь взаимодействует с ними через кнопки, мультимедийный контент и другие элементы управления.

Это сложно. Но все же не волнуйтесь: если вы читаете эту главу, вы уже на правильном пути к максимальному использованию потенциала ваших усилий, связанных с данными.

Первый шаг к началу работы

Внедрение эффективной структуры для очистки и управления информацией – это первый шаг к началу работы.

3.2 Перечень этапов

Извлечение

Сбор необходимой информации из различных внутренних и внешних источников.

Оценка

Оцените, соответствуют ли собранные вами данные требованиям к качеству.

Очистка

Очистите, удалите или сожгите любую информацию, которая дублируется, неправильно отформатирована либо бесполезна для ваших целей.

Интеграция

Интегрируйте свои источники данных, чтобы получить полное представление о своей информации.

Отчетность

Источник: https://blog.sf.education/chto-takoe-kpi/

Используйте ключевые показатели эффективности (Key Performance Indicators – KPI) для контроля качества данных и предотвращения возникновения дальнейших проблем.

Четко определенные ключевые показатели эффективности (KPI) представляют собой измеримые параметры, применяемые для оценки результативности работы компании, конкретного работника или проекта в контексте поставленной цели. Эти показатели критически важны, поскольку они определяют траекторию стратегического и текущего развития, служат фундаментом для обоснованного принятия решений и фокусируют усилия на приоритетных направлениях. Благодаря KPI организации могут отслеживать степень приближения к желаемым результатам и получать ясное понимание хода движения к основным бизнес-задачам.

Исправление

Если в ваших отчетах обнаружены поврежденные данные или данные, требующие изменения, исправьте это как можно скорее.

3.3 Что может DQM?

Цель DQM – не создание субъективных представлений о том, что такое «высококачественные» данные. Нет, его цель – повышение рентабельности инвестиций (ROI) для тех сегментов бизнеса, которые зависят от данных. В сочетании с этим, DQM также может следующее:

Улучшение процесса принятия решений

От управления взаимоотношениями с клиентами до управления цепочками поставок и планирования ресурсов предприятия, преимущества управления качеством данных могут оказывать резонансное влияние на эффективность деятельности организации. Имея в своем распоряжении качественные данные, организации могут формировать хранилища данных для анализа тенденций и разработки перспективных стратегий.

Положительная окупаемость инвестиций в качественные

Положительная окупаемость инвестиций в качественные данные в масштабах всей отрасли хорошо известна. Согласно исследованию Accenture, посвященному большим данным, 92% руководителей, использующих большие данные для управления, удовлетворены результатами, а 89% оценивают данные как «очень» или «чрезвычайно» важные, поскольку они «произведут революцию в операционной деятельности так же, как это сделал Интернет».

Экономия времени и денег

Источник: https://goo.su/2kWqR6

Последствия использования некачественных данных для принятия важных бизнес-решений могут привести не только к потере времени на неэффективные стратегии, но и к еще большим потерям денег и ресурсов. Учитывая это, компаниям крайне важно инвестировать в правильные процессы, системы и инструменты, чтобы гарантировать соответствие качества данных требуемым стандартам. В результате компания не только сэкономит массу денег и ресурсов, но и получит выгоду от принятия обоснованных решений, основанных на точной аналитике.

Конкурентное преимущество

Наличие качественных данных в конечном итоге приводит к повышению эффективности во всех сферах деятельности организации. В современном быстро меняющемся мире, от отношений с клиентами до маркетинга, продаж и финансов, способность принимать обоснованные решения на основе собственных данных бесценна.

Четкое понимание того, какие шаги необходимо предпринять для достижения успеха, приведет к получению явного конкурентного преимущества, которое выделит вашу организацию среди остальных.

Теперь, когда у вас есть более четкое представление о преимуществах, которые вы можете получить от внедрения этого процесса в вашей организации, можно рассмотреть эту концепцию более подробно.

При подготовке данной главы использовался источник [2].

Теперь, когда вы понимаете важность высококачественных данных и хотите укрепить свою базу данных, давайте рассмотрим методы, лежащие в основе DQM, и пять столпов, на которых она основана.

4.1 Занимающиеся данными люди – ПЕРВЫЙ СТОЛП

Технологии настолько эффективны, насколько эффективны люди, которые их внедряют. Мы можем существовать в технологически развитом деловом обществе, но человеческий контроль и реализация процессов (пока) не устарели. Поэтому необходимо обозначить несколько ролей, включая описанные далее.

Менеджер программы DQM

Роль менеджера программы должен занимать руководитель высокого уровня, который принимает на себя ответственность за общий надзор за инициативами в области бизнес-аналитики. Менеджер также должен курировать управление повседневной деятельностью и ее итогами, включая объем данных, бюджет проекта и реализацию программы. Менеджер программы должен формировать видение качества данных и рентабельности инвестиций.