Эксплуатация ЦОД. Практическое руководство

Пожалуйста, обратите внимание: книга представлена в нескольких форматах, но для комфортного просмотра содержащихся в ней графических материалов и таблиц мы рекомендуем формат pdf.

Вопросы и комментарии просим направлять по адресу marketing@linxdatacenter.com.

encoding and publishing house

© Издательство «Aegitas», 2024

Об авторах

Тарас Чирков – директор по эксплуатации ЦОД Linx Datacenter. Тарас обладает обширным опытом работы в ИТ-сфере: ранее занимался развитием ИТ-инфраструктуры компании Beeline в Северо-Западном регионе, управлял ИТ-инфраструктурой олимпийских объектов в компании AtoS на Олимпийских играх 2014 г. в Сочи.

Более десяти лет Тарас со своей командой обеспечивает бесперебойную работу ЦОД Linx Datacenter, управление системами обеспечения жизнедеятельности дата-центра, физической и информационной безопасности. Накопленный опыт лег в основу нового направления консультационных услуг в сфере эксплуатации ЦОД, обучающих курсов на базе АНО КС ЦОД и публикаций.

Под руководством Тараса Linx Datacenter подготовлен к аудиту на соответствие международным стандартам: Management & Operations Stamp of Approval от Uptime Institute, ISO 9001, ISO 27001, ISO 22301 с последующим подтверждением сертификации Британским институтом стандартов BSI, PCI DSS, SAP Cloud and Infrastructure Operations.

Тарас имеет сертификации в области управления дата-центрами – Accredited Operations Specialist от Uptime Institute и Certified Data Centre Facilities Operations Manager. Он сертифицированный ведущий аудитор BS ISO/IEC 27001:2013.

Константин Нагорный – главный инженер Linx Datacenter в Санкт-Петербурге. Присоединился к команде Linx в 2009 г. и за несколько лет прошел путь от рядового инженера ЦОД до главного инженера.

Основные достижения его профессиональной деятельности: участие в проекте строительства и запуске в эксплуатацию ЦОД Linx Datacenter в Санкт-Петербурге, бесперебойная работа ЦОД с момента его основания, руководство проектом разработки и внедрения системы мониторинга ЦОД, организация процессов и разработка документации, регламентирующих работу и обучение персонала службы эксплуатации ЦОД.

Константин имеет сертификацию Accredited Tier Designer от Uptime Institute. Читает курс лекций по эксплуатации дата-центров на базе тренингового центра АНО КС ЦОД.

Андрей Чеснов – главный энергетик Linx Datacenter в Санкт-Петербурге, в Linx работает более 10 лет. Ранее был главным энергетиком на крупном производственном предприятии, принимал участие в его строительстве и эксплуатации.

Андрей имеет богатый опыт обслуживания и эксплуатации различных инженерных систем, отвечает за организацию производственных процессов и поддержание безопасной и бесперебойной работы систем жизнеобеспечения ЦОД, осуществил модернизацию системы резервного энергоснабжения.

Андрей прошел обучение по направлению «Сертифицированный специалист в области ЦОД» (Certified Data Center Specialist (CDCS) от Hewlett Packard Enterprise. Читает курс лекций по эксплуатации дата-центров на базе тренингового центра АНО КС ЦОД.

Авторы руководили подготовкой ЦОД Linx Datacenter к прохождению аудита Uptime Institute на соответствие инфраструктуры и процессов ее эксплуатации требованиям Management & Operations Stamp of Approval в 2018, 2020, 2021 и 2023 г.

Приветственное слово от генерального директора Linx

Уважаемые читатели!

Рад представить вам книгу «Эксплуатация ЦОД: практическое руководство» – превосходный инструмент для всех, кто стремится улучшить процессы эксплуатации в уже действующем дата-центре или организовывает их с нуля. Авторами пособия являются сотрудники нашей компании, уже более 20 лет предоставляющей решения в сфере хранения и обработки данных на базе собственных дата-центров.

ЦОД как площадка для хранения данных и размещения стремительно развивающихся облачных сервисов играет важную роль в обеспечении безопасности и операционной устойчивости ключевых процессов работы любой компании. Команда специалистов, создавшая данное практическое пособие, не только обладает богатым опытом по организации бесперебойной работы ЦОД, но и единственная в России четыре раза прошла аудит Management & Operations от Uptime Institute, благодаря чему ЦОД Linx вошел в топ-15 дата-центров в мире с подтвержденной высокой экспертизой в области эксплуатации ЦОД.

Книга «Эксплуатация ЦОД: практическое руководство» предлагает читателям практические советы и рекомендации, разработанные на базе лучших практик отрасли и адаптированные с учетом требований российского законодательства и реалий. Это руководство – идеальный помощник для всех, кто хочет выстроить процессы эксплуатации своего дата-центра в соответствии с самыми высокими стандартами отрасли.

Я горжусь тем, что могу представить вам данное руководство. Уверен, что вы найдете в нем ценные сведения, которые будут способствовать стабильной работе ЦОД и развитию бизнеса вашей компании.

С наилучшими пожеланиями,

Михаил Ветров,

генеральный директор Linx

Вступление от научного редактора

Российский рынок беден печатными изданиями, посвященными центрам обработки данных (ЦОД). Еще менее доступны источники, освещающие принципы и подходы к организации служб эксплуатации таких объектов. Между тем, учитывая важность и значимость ЦОД в нашей повседневной жизни и ограниченность информации о них, источники знаний о данной теме жизненно необходимы. В этой связи появление книги, посвященной эксплуатации ЦОД, – более чем важное событие.

Подходить к данной теме можно по-разному. Та информация, которую можно найти в интернете и немногочисленных публикациях, зачастую кажется очень общей по характеру изложения, и, хотя и, безусловно, способствует углублению знаний и пониманию тематики, но не дает конкретных, практических указаний по реализации принципов организации эксплуатации и технического обслуживания ЦОД. Отрадно видеть, что настоящее издание фокусируется именно на конкретных указаниях и живых примерах того, как эти принципы реализуются в повседневной работе.

ЦОД бывают разными – по назначению, сфере применения, масштабу, принципам построения и особенностям использования. Однако их роднит то, как реализуются принципы их повседневной эксплуатации. Реализация этих принципов может быть различной, но, применяя существующие на мировом рынке методологии и механизмы оценки уровня эксплуатации, можно выделять те объекты, которые стоят в авангарде отрасли. В этом контексте ЦОД Linx Datacenter – уникальный объект, четырехкратно награжденный оценкой Management and Operations Stamp of Approval. Эту оценку присуждает консалтинговая компания Uptime Institute – признанный отраслевой лидер мирового масштаба в сфере сертификации ЦОД по уровням Tier, отражающим степень надежности и качество эксплуатации центров обработки данных.

ЦОД Linx Datacenter на сегодняшний день – единственный в России (а, возможно, и в Европе), четырежды успешно прошедший аудит Management and Operations и получивший высокие оценки Uptime Institute. Стремление ключевых сотрудников данного объекта поделиться своим опытом в сфере эксплуатации нельзя расценивать иначе, как значительный вклад в популяризацию знаний об эксплуатации критических объектов.

Данная книга – особенная. Она идет много дальше общих рекомендаций по эксплуатации и дает массу практических советов, сопровождаемых примерами и иллюстрациями, о том, как подобрать необходимый персонал службы эксплуатации и рассчитать его численность, сформировать программы технического обслуживания инженерной инфраструктуры ЦОД, сформулировать и описать необходимые процессы и процедуры эксплуатации, корректно документировать их и обеспечить их доступность для службы эксплуатации, как управлять уровнем оказания услуг объекта, как отслеживать состояние складов, наличие необходимых инструментов, управлять повседневными операциями на объекте, обеспечивать безопасность труда и многое-многое другое.

Несмотря на кажущуюся очевидность того, как следует построить эксплуатацию объекта, ее практическая реализация – весьма нетривиальная задача, успешно решить которую под силу не каждому. В этом ключе данный труд – настоящий подарок для каждого участника отрасли ЦОД.

Эта книга станет незаменимым пособием по организации повседневной эксплуатации ЦОД для их владельцев, технических директоров, руководителей служб эксплуатации, ответственных лиц в данной сфере и линейных сотрудников служб эксплуатации. Учитывая универсальность излагаемых принципов и подходов, книга применима даже шире, нежели исключительно в отрасли ЦОД, – излагаемые знания и практические указания применимы для любых критических объектов.

Константин Королев,

директор по развитию бизнеса

в России и СНГ, Uptime Institute

Введение

Центры обработки данных (ЦОД) приобретают все более важное и критическое значение для повседневной жизни. Особенность их функционирования – беспрерывная и круглосуточная работа. Даже минутные простои могут иметь катастрофические по степени финансового и репутационного ущерба последствия для организации или, в случае отказа каких-либо популярных сервисов, стать заметными по всему миру даже для людей, не связанных с ИТ-индустрией.

По опубликованным данным[1] опросов представителей отрасли, до 79 % респондентов испытывали проблемы, связанные с жизнедеятельностью ЦОД, за последние три года. По нашей собственной десятилетней статистике инцидентов, это число составляет примерно 65 %. Согласно статистическим исследованиям Uptime Institute, 75 %[2] отказов в ЦОД связаны с человеческим фактором. Когда мы только начинали переосмыслять работу службы эксплуатации в 2015 г., эта цифра достигала лишь 70 %.

Человеческий фактор включает в себя ошибки дежурного персонала ЦОД, но, что более важно, также говорит о принятии неверных управленческих решений в отношении подбора сотрудников, выстраивания процессов обслуживания, обучения и общей тщательности выполнения работ по техническому обслуживанию или повседневной деятельности. Независимо от топологии инфраструктуры дата-центра, человеческий фактор представляет наибольший риск для его работоспособности, так как на долю отказов оборудования приходится относительно малая часть инцидентов. Следовательно, целесообразно направлять усилия на устранение большего процента рисков, связанного с человеческими ошибками при эксплуатации. Из них 48 %[3] связано с неверным выполнением процедур, 41 % – с неверно организованными процессами или процедурами.

При правильно организованной системе эксплуатации, даже с несовершенной инженерной инфраструктурой и незначительным уровнем резервирования, ЦОД может иметь лучшее время беспрерывной работы, чем ЦОД с высоким уровнем резервирования систем, но с плохо выстроенной и организованной эксплуатацией. Недостатки инфраструктуры и низкий уровень резервирования можно компенсировать продуманными организационными мерами.

Мы – команда, которая уже более 10 лет занимается эксплуатацией ЦОД, – хотим поделиться с вами своим опытом организации современной модели эксплуатации ЦОД.

Современный подход к управлению эксплуатацией охватывает не только организацию качественной эксплуатации инфраструктуры ЦОД, но и контроль других сопряженных направлений – ИТ/телеком, службы поддержки, уборки, охраны, порядка доступа и пребывания сотрудников ЦОД, клиентов и подрядчиков на территории ЦОД.

Отметим, что описанная ниже модель эксплуатации даст результат только в случае реального осмысления принципов, описанных в этой книге, адаптации их под ваши процессы и самостоятельного внедрения с каждодневным использованием. В этом случае вы получите самоподдерживающуюся экосистему процессов и документации, позволяющую сохранять информированность сотрудников и качество процессов на уровне, позволяющем пройти любой аудит без предварительной подготовки.

В случае же разового точечного внедрения данной системы с целью пройти конкретный аудит вы, конечно же, достигнете временного результата, но все ваши усилия будут напрасны в долгосрочной перспективе, и каждый новый аудит будет вызывать страх и авральные приготовления как руководства, так и рядового персонала.

Мы также не рекомендуем заказывать услуги по созданию документации службы эксплуатации «под ключ». Это внедрение приведет к аналогичному временному результату. Без участия персонала – как руководящего звена, так и рядовых дежурных сотрудников – это все не будет работать. Важно платить деньги не за готовые формальные документы, а за качественное обучение вашего персонала, который сам уже потом применит полученные знания и создаст все требуемые процессы и инструкции, возможно, даже где-то улучшив предложенную концепцию.

Также следует бороться с формальным подходом к процессам со стороны дежурных инженеров ЦОД. Чаще всего он выражается в некачественном ведении отчетности, недостаточном контроле за работой подрядчиков, заполнении чек-листов не в процессе выполнения задачи, а задним числом (например, обход объекта без чек-листа и заполнение его потом). Руководству требуется вести непрерывный контроль, разъяснительную работу, мотивирование и выборочные проверки качества выполнения процедур дежурными, иначе все усилия руководителей могут быть перечеркнуты отношением сотрудников. А лучшим стимулом является собственный пример. Одновременно надо оценивать внедряемые процедуры и документы на предмет минимизации всего того, что требуется заполнять или отправлять в виде отчета. Новые процессы и документы должны упрощать работу руководителей и сотрудников, а не усложнять ее.

Виды ЦОД

Согласно ГОСТ Р 58811–2020, п. 3.1.13, «Центр обработки данных; ЦОД: Специализированный объект, представляющий собой связанную систему ИТ-инфраструктуры и инженерной инфраструктуры, оборудование и части которых размещены в здании или помещении, подключенном к внешним сетям, как инженерным, так и телекоммуникационным».

С точки зрения процессов под центрами обработки данных (ЦОД) мы будем подразумевать такие ИТ-площадки, которые достигли некоторого объема и зрелости процессов внутри организации, позволяющих организовывать эксплуатацию инженерной инфраструктуры отдельно от ИТ-инфраструктуры. В противном случае, когда поддержкой инженерной инфраструктуры ЦОД по старой памяти продолжает заниматься команда ИТ-отдела, это малоэффективно.

Наилучшее решение здесь – использование услуг колокации.

Колокация, колокейшн (от англ. colocation, сокращенно colo) – услуга, состоящая в том, что провайдер услуги размещает оборудование клиента в своем дата-центре, подключает его к электричеству, обеспечивает обслуживание и подключение к каналам связи с высокой пропускной способностью[4].

Данная услуга востребована, так как для поддержания инженерной инфраструктуры ЦОД неспециализированной ИТ-компании потребуется достаточно большое количество непрофильных для нее процессов и специалистов, таких как электрики, механики и т. д.

По построению инфраструктуры и организации эксплуатации ЦОД условно можно разделить на три категории:

• Корпоративные ЦОД. Для внутренних ИТ-нужд организаций.

• Гиперскейл-ЦОД[5], дата-центры крупных интернет-компаний, мировых лидеров ИТ-индустрии.

• Колокейшн-провайдер ЦОД[6]. Коммерческие дата-центры.

Корпоративные ЦОД в большинстве случаев относительно просты по уровню резервирования и обслуживания. Круг решаемых задач очевиден и формулируется заранее, что позволяет выбрать, например, однотипное оборудование с низкими требованиями к параметрам окружающей среды. У таких ЦОД лишь один внутренний клиент, с которым достаточно просто договориться об остановке ЦОД для проведения каких-либо работ. Естественно, есть корпоративные ЦОД, отказ которых может быть видимым для всех, и к таким ЦОД предъявляются самые жесткие требования по инженерной структуре и бесперебойной работе. Но обычно это характерно лишь для достаточно крупных организаций, а в остальных случаях корпоративный ЦОД – просто «серверная комната».

Гиперскейл-ЦОД – гипермасштабируемые ЦОД, зачастую имеют меньшее резервирование компонентов инженерной инфраструктуры, так как падение ЦОД может быть компенсировано другими ЦОД этой же организации, что значительно удешевляет строительство ЦОД при мощности в сотни мегаватт. Такие ЦОД могут позволить себе использовать специально заказанное у вендора ИТ- и телеком-оборудование, способное работать в гораздо более широких температурных диапазонах с очень низкими запросами к внешней среде (например, нормальная температура эксплуатации до +40 °C без требований к уровню влажности), позволяя упростить системы охлаждения и требования к ним.

Колокейшн-провайдеры – компании, предоставляющие места в своих ЦОД для коммерческих клиентов. Тут применяются наиболее жесткие требования по беспрерывной работе и температурно-влажностным режимам по причине того, что диапазон размещаемого оборудования может быть очень широк по своим эксплуатационным параметрам и ЦОД должен соответствовать самым жестким требованиям. Для колокейшн-провайдеров характерны дополнительные специфические аспекты, которые требуют четкой регламентации, например наличие службы физической безопасности и отдела поддержки клиентов.

Соответствие сертификационным стандартам и действующим нормам