Методология построения распределенных сетей передачи, обработки и хранения данных: анализ и выбор рациональной структуры. Монография. Том 1

1.2 Обзор технологий построения и проблемы организации эффективного функционирования РСХД

За последние годы появилось много новых разработок в области сетевого хранения данных. На сегодняшний день выделяют две концепции построения РСХД: первая – Network Attached Storage (NAS) и вторая, быстро развивающаяся, Storage Area Network, базирующихся на трех основных стандартах (протоколах), которые используются для организации РСХД – Fiber Channel, SCSI, InfiniBand и их модификациях для RNAS – iFCP, iSCSI [24,25].

Несмотря на то, что для построения РСХД в девяноста восьми случаях из ста используется технология Fiber Channel условная грань, разделяющая технологии хранения на сетевые устройства, постепенно стирается, а рынки альтернативных технологий расширяются (рис.1).

Рисунок 1. Сегментация рынка SAN

Одной из наиболее заметных тенденций в развитии распределенных сетей стало резкое увеличение спроса на сетевые устройства хранения. По прогнозам аналитической компании Yankee Group, в 2002 году доход от реализации систем хранения SAN вырос на 12,6% по сравнению с показателями предыдущего года, а к 2005 году он составит 8,56 млрд. долларов.

Рассмотрим три основных технологии, которые могут быть положены в основу региональной сети хранения данных.

Fiber Channel – технология передачи данных на уровне блоков (в отличии от передачи на уровне файлов) с предоставлением качества и класса услуг, включая гарантированную доставку пакетов. Данная технология позволяет осуществлять доступ к данным на уровне блоков быстрее, чем на уровне файлов, и дает возможность решить проблемы с безопасностью и перегрузкой системы. К недостаткам технологии Fiber Channel можно отнести то, что она поддерживает передачу данных на расстояния не более 10 км. С целью решить данные проблемы в Lucent Technologies и Cisco была разработана новая технология Fiber Channel IP (FCIP). Но анализ показал, что технология FCIP хоть и удовлетворяет требованиям гарантированной доставки, однако туннелирование в TCP/IP может стать серьезным препятствием, поскольку процедура обработки инкапсулированных пакетов способна негативно повлиять на эффективность и скорость системы в целом.

Альтернативой FCIP для построения РСХД служит протокол iFCP (Internet Channel Protocol), предложенный компанией Nishan, в основе которого лежит технология IP. Он предназначен для соединения шлюзов на базе TCP/IP, при котором Fiber Channel отображается на IP. Важно отметить, что iFCP предполагает замену коммутаторов и маршрутизаторов Fiber Channel на системы на базе IP, сохраняя способность связывать устройства Fiber Channel через IP. Данная технология может использоваться, как связующее звено между распределенными сетями передачи и обработки информации, так и в рамках сетей Fiber Channel [26].

iSCSI (Internet SCSI) – технология позволяющая передавать команды SCSI поверх протокола IP и предназначена для передачи данных на уровне блоков с применением устройств, поддерживающих ленточные библиотеки и дисковые массивы, а также хост адаптеры и коммутаторы IP. Данная технология была разработана и поддерживается IBM, Cisco и Storage Networking Industry Association. Его применение позволяет с помощью сети IP объединить территориально распределенные центры обработки информации региональной сети, с одной стороны, и и устройства хранения данных – с другой, решив тем самым проблему удаленного доступа к данным, а в последствии и резервного копирования из любого сегмента региональной сети. Технология iSCSI позволяет также одновременно организовать несколько каналов ввода/вывода между несколькими конечными устройствами при наличии всего одного порта Ethernet. Но широкое распространение данного протокола ограничивается пропускной способностью существующих сетей IP, которой может быть недостаточно для обеспечения доступа к хранимой информациис требуемыми параметрами. Исходя из этого, для снижения задержек и возможных ошибок для передаваемых блоков данных (команд SCSI) существующие сети должны быть адаптированы для работы iSCSI [27].

InfiniBand – технология, осуществляющая передачу данных на скорости 2,5 Гбит/с, разработанная компанией Intel и поддерживаемая Dell, IBM, Hewlett-Packard, Microsoft и Sun Microsystems. Спецификация InfiniBand описывает коммутируемую архитектуру «точка-точка», обеспечивая множеству устройств ввода/вывода возможность посылки одновременных запросов к процессору системы таким образом, чтобы в процессе передачи данных не возникло «узких» мест. Ее применение направлено на повышение производительности и масштабируемости кластерных систем хранения и обработки данных, а также подсистем РСХД.

Теперь рассмотрим и проанализируем технологии, которые используются как базовые для описанных выше, при проектировании региональной распределенной сети передачи, обработки и хранения данных на примере Тверского региона.

1996 год ознаменовался бурным ростом и развитием рынка коммутируемых технологий. Применение технологии коммутации оказало влияние на все аспекты обеспечения межсетевого обмена, начиная от типов продуктов кончая способом построения сетей, и обеспечило реальные выгоды в повышении производительности, упрощении и снижении стоимости проектирования, как локальных, так и глобальных сетей (рис.2) [28,29,30,31,32,33].

Для построения региональных сетей хранения существуют порядка десяти ведущих технологий обеспечивающих надежную и скоростную передачу данных. Сейчас основной моделью передачи данных по магистральной сети стала следующая цепочка: оптика – сеть SDH – сеть АТМ – сеть IP.

Большое распространение получили сети FrameRelay, ATM, различные варианты Ethernet и др.

Рисунок 2. Продажа коммутирующих концентраторов с 1994 по 1999 годы

Но в настоящее время наличие раздельных сетей становится непозволительной роскошью, поэтому столь высок интерес к технологиям, обеспечивающим совместную передачу разнородной информации с требуемым качеством.

Технология SDH (Synchronous Digital Hierarchy) представляет собой комплекс международных стандартов, относящихся к синхронному мультиплексированию и передаче данных. Оборудование SDH может передавать информацию со следующими линейными скоростями – 155Мбит/c – 2,5 Гбит/c.

Технология ATM может использоваться для передачи разных типов информации и одновременно поддерживать широкий спектр пользовательских приложений, в том числе оригинальных приложений ATM, унаследованных приложений для локальных сетей, голоса и видео. Способность передавать голос, данные, видео и мультимедийный трафик по глобальной сети является ключевым преимуществом ATM, так как он предоставляет одну общую сетевую технологию для общедоступных и частных сетей. Другим достоинством ATM является масштабируемая пропускная способность. В настоящее время скорость варьируется в диапазоне от 1,544 Мбит/с до 622 Мбит/с.

Технологии Fast Ethernet и ATM можно использовать для повышения производительности и управляемости различных сетей целым рядом способов. В конфигурации, приведенной на рисунке 3 коммутаторы, предоставляют многочисленные выделенные соединения на 10 Мбит/с с концентраторами в пределах всей организации. Коммутаторы образуют магистраль Fast Ethernet для разделяемых локальных сетей и серверов, они обеспечивают также соединение с территориальной магистралью ATM через маршрутизатор с интерфейсом ATM.

Рисунок 3. Повышение производительности сети с использованием технологий Fast Ethernet и ATM

Технология DTM (Dynamic synchronous Transfer Mode) создавалась с целью более рационального использования пропускной способности оптических сетей, поддержки широкополосного трафика в реальном масштабе времени и групповой адресации, обеспечения перераспределения ресурсов сети между сеансами связи. Она базируется на стеке из восьми протоколов и обеспечивает передачу данных со скоростью от 512 Мбит/c [34].

Наиболее перспективным подходом к построению региональных сетей передачи и хранения данных является использование спутниковой связи. Она имеет существенные преимущества над наземными системами связи. Наиболее значимыми, из которых является скорость передачи данных. Вследствие использования беспроводных технологий спутниковые сети могут достичь практически любых удаленных географических областей, в том числе в регионах с недостаточно развитой коммуникационной инфраструктурой. Благодаря своей независимости от услуг телекоммуникационных компаний, спутниковая связь не подвержена перерывам в работе, например, из-за повреждения кабеля.

Однако существуют и недостатки. В частности, спутниковая связь очень дорога и относительна молода. Кроме того, крупные проекты в данной области не так-то просто воплотить в жизнь, для этого компания должна как минимум располагать значительными финансовыми средствами и получить одобрение в нескольких национальных и международных организациях. С технической точки зрения потенциальной проблемой является блокирование принимаемого со спутника сигнала зданиями и даже листвой деревьев в зависимости от типа применяемой технологии. Кроме того, сейчас стоит наиболее остро вопрос защиты информации: при спутниковой связи сигнал может быть принят любым неуполномоченным лицом. Шифрование спутниковых каналов не осуществляется, но некоторые производители предлагают программное обеспечение шифрования, с помощью которого можно защитить трафик [35].

Используемые спутники можно разделить на две основные категории: геостационарные и низкоорбитальные. Среди других технологий – спутники на средней орбите и гибридные формы спутниковых сетей.

Для разработки региональной сети хранения наиболее подходит использование низкоорбитальных спутников, которые представляют собой созвездия относительно небольших спутников, вращающихся на более низких высотах, чем геостационарные системы. Эти спутники можно разделить на два основных класса: большие и малые. Первые работают на частотах свыше 1 ГГц, а вторые – менее 1 ГГц.

Связь через низкоорбитальные спутники имеет малую задержку и большой потенциал для увеличения пропускной способности (табл.1).

Таблица 1.

Существует еще одна немаловажная особенность – создание региональной спутниковой сети вынуждает проектировщиков прибегнуть к услугам нескольких посреднических организаций. Консультанты и системные интеграторы осуществляют проектирование и инсталляцию оборудования, операторы связи предоставляют каналы и выполняют мониторинг связи между конечными точками, а производители оборудования предоставляют поддержку после выявления какой-либо проблемы, все это требует колоссальных финансовых затрат.

Сегодня многие сервис-провайдеры в области спутниковых сетей предлагают свои услуги по анализу и проектированию сети, управлению проектом, снабжению, сопровождению, инсталляции, управлению сетью, предоставлению спутниковых каналов связи, обучению, обслуживанию заказчиков [36,37,38].

Как уже подчеркивалось, для проектирования и внедрения современных региональных сетей широко используются аналоговые и цифровые каналы связи, интегральные технологии передачи различных видов трафика: сети с интеграцией услуг (ISDN), сети с ретрансляцией кадров (Frame Relay), сети с асинхронным режимом передачи (ATM). На базе этих систем связи реализуется широкое разнообразие телекоммуникационных решений.

Наиболее распространенным решением во многих регионах при построении распределенных сетей для связывания территориально удаленных подразделений или филиалов предприятий является применение аналоговых линий связи. Популярность такого решения обусловлена, прежде всего, его доступностью и относительно невысокой стоимостью.

Можно выделить, два наиболее подходящих и перспективных подхода по передаче данных на большие расстояния и с высокой скоростью.

Первый – это использование системы широковещательной передачи данных, поддерживающей VBI (Vertical Blanking Interval) -технологию. VBI разработана канадской фирмой Norpak Corporation и предназначена для доставки неограниченному числу абонентов телевизионной сети различной информации, в виде текстовых, графических и д.р. файлов, БД, Internet-страниц и т. д. Система передачи данных полностью совместима со всеми стандартами сигналов телевещания, имеет соответствующее аппаратно-программное обеспечение и может использоваться в любых средах распространения.

Скорость передачи данных определяется количеством используемых телевизионных строк и способом преобразования данных, и может находиться в диапазоне от 9600 до 115200 бит/сек. В случае использования всех строк телевизионного сигнала (при этом видеосигнал не передается), пропускная способность канала может достигать 4 Мбит/сек. Сети телевещания относят к наиболее отказоустойчивым и надежным системам в мире, доставляющим информацию практически в течение всего рабочего времени.

Данная технология широко используется многими странами, и ее применяют крупнейшие компании (CNN, NBC, ABC, CBC, CBS, IBM, AT&T, Apple и т.д.).

Одним из ключевых преимуществ передачи данных по системам телевещания является возможность получения данных там, куда проходит телевизионный сигнал, т.е. практически 94% всей территории области (см. Рис.4).

Необходимо отметить, что основным ограничивающим фактором передачи данных по системам телевещания является то, что данная система является однонаправленной. Ее использование неприемлемо для работы с СУБД и приложений, работающих в режиме on-line. С другой стороны, перечисленные ранее характеристики, экономичность системы позволяют использовать данную технологию как альтернативную или дополнительную в областях, связанных с односторонней передачей данных, где поток от одного ко многим передается по VBI—технологии, а обратная связь осуществляется с использованием других технологий.

Рисунок 4. Зоны охвата телепрограммой РТР

Второй – использование оптоволоконных каналов связи (ОКС) (Рис.5) в сочетании с Radio-Ethernet.

Основное преимущество передачи данных по ОКС – это сочетание большой пропускной способности канала с двунаправленностью. Но есть и недостатки, одним из существенных – это отсутствие ОКС в 14 районах области, а также стоимость прокладки и монтажа оборудования.

Рисунок 5. Схема телекоммуникаций на ОКС Тверской области

Помимо этого, не все клиенты имеют прямой выход на ОКС и, как следствием этого, пропускная способность до данного канала от провайдера до клиента ограничивается качеством и техническими характеристиками линий телефонных станций. Ситуация усугубляется еще не только их качеством, при котором реальная пропускная способность канала очень низка, но и мизерным количеством цифровых автоматических телефонных станций (АТС), которые способны обеспечить достаточную надежность соединения и скорость передачи данных.

Технология Radio-Ethernet прекрасно дополняет и расширяет возможности традиционных каналов передачи данных от провайдера до клиента. Она является аналогом технологии Ethernet. Пропускная способность, на данный момент, канала ограничивается 512 Кбит/c. Внедрение данной технологии в городах и районах области способно обеспечить стабильную, бесперебойную, качественную передачу данных на большие расстояния (десятки километров), но ее применение ограничено высокой стоимостью базового оборудования, арендуемого канала и технической поддержки.

Анализ ситуации в Тверском и многих других регионах показал, что, несмотря на наличие уже имеющихся каналов, единой региональной сети обработки социально-экономической информации, функционирующей на базе административного центра обработки информации и подчиненных ему районных центров, в полном ее понимании, не существует.

Другая проблема состоит в недостатке или полном отсутствии финансирования проектов.

Имеющееся число провайдеров (поставщиков) услуг Интернет в основном предлагают узконаправленный сервис, ориентированный на небольшое число городов региона, который составляет основу их доходов. В свою очередь, преимущества от использования РСХД, несмотря на большие инвестиции, состоят прежде всего в повышении уровня сервиса, расширении диапазона информационных услуг, экономии времени и финансовых затрат на передачу, обработку, хранение информации.

Кроме того, при существующей практике, при выборе и утверждении сетевых проектов, для большинства организаций, характерны следующие недостатки:

– принятие и оценка решений в подавляющем большинстве случаев основано лишь на интуиции проектировщиков, выступающих в качестве экспертов;

– при выборе проектов неоправданно принимаются допущения, что все анализируемые варианты являются практически равноценными по показателям надежности, качества и пропускной способности, что далеко не соответствует истине;

– как правило, окончательные решения принимаются на основании показателя приведенных затрат, при этом игнорируется ряд важных показателей, отвечающих за качество, надежность, сервис и перспективность развития региональных вычислительных сетей.

Перечисленные выше проблемы являются типичными для большинства регионов (областей) Российской Федерации.

В направление развития концепции РСХД, разработки и реализации единых правил, принципов и стандартов по формированию и ведению первичных информационных ресурсов на муниципальном и областном уровнях управления, появляется необходимость в разработке экономически и математически обоснованных моделей, методов и методик эффективного проектирования региональных систем передачи, обработки и хранения социально-экономической информации в условиях использования разнородных каналов связи. Они, в свою очередь, станут единой основой для разработки соответствующих проектов формирования информационного пространства регионов РФ.

1.3 Обзор математических методов проектирования распределенных вычислительных сетей

Проектирование РСХД является сложной и комплексной задачей, решение которой можно разбить на следующие основные этапы (рис. 6):

– Обследование.

– Составление и утверждение технического задания.

– Технический проект.

– Рабочий проект.

– Монтаж оборудования.

– Опытное функционирование или тестирование работы аппаратно-программных комплексов.

– Приемочные испытания.

– Обучение и поддержка (сервис).

– Эксплуатация.

– Оптимизация и модернизация.

Одним из наиболее значимых этапов является этап технического проекта (ТП). Полученные результаты в ходе его разработки (анализа и синтеза исходных данных, определение топологии, построение модели, оценка показателей эффективности и т.д.) являются ключевыми при проектировании и создании РСХД. Количество подэтапов ТП должны быть четко описаны и жестко регламентированы в техническом задании (ТЗ), так окончание каждого из них является логическим началом следующего, а завершение технического проекта является началом рабочего проекта.

Рисунок 6. Основные этапы и алгоритм проектирования региональной распределенной вычислительной сети

После анализа факторов, определяющих выбор аппаратно-программного обеспечения и нацеленных на повышение эффективности функционирования, выполняется определение и выбор топологии РСХД. В результате чего должна быть создана структура, обеспечивающая оптимальную передачу заданных потоков информации по всем направлениям информационного обмена. Сложность этой задачи для региональной сети заключается не только в значительном объеме вычислений, но и в ограниченных возможностях определения исходных объемов передаваемой информации, потоки которой возрастают в ходе эксплуатации сети [39,40,41,42,43].

Наиболее часто используемый подход к решению данной проблемы заключается в теоретическом разбиении имеющейся сети на более простые структурные образования – структуру минимальной сети, анализе каждого из них и получении агрегированных характеристик сети композицией показателей простых структур [44].

Как известно топология сети существенно влияет на надежность, гибкость, пропускную способность, стоимость сети и передаваемого по ней трафика, время ответа, и определяется способом соединения ее узлов каналами связи. На практике используются четыре базовые топологии: шинная, кольцевая, звездообразная, древовидная (иерархическая).

В работе [45] применение методов многокритериальной оптимизации, теории нечетких множеств (при совместном учете показателей количественного и качественного характера), алгоритмов дискретного математического программирования, основанные на точных методах позволяют построить топологические схемы распределительных сетей и выбрать оптимальное решение для конкретной задачи. Они выбираются по нескольким критериям. При этом решение локально-оптимальное по любому из названных критериев принадлежит области Парето.

Настоящий алгоритм обеспечивает отыскание оптимального числа линий, отходящих от источника питания при учете ряда ограничений. При этом процесс оптимизации может начинаться из любого узла сети.

Автором подчеркивается, что получаемые по частным критериям схемы являются локально-оптимальными вариантами построения распределительных сетей. В общем случае указанные варианты не охватывают все альтернативы, принадлежащие области Парето. В связи с этим возникает необходимость «размножения» вариантов схем распределительных сетей. Для этой цели используются следующие подходы:

– формирование схем распределительных сетей осуществляется экспертом или в результате применения существующих традиционных алгоритмов выбора конфигурации сетей;

– формирование схем распределительных сетей осуществляется исходя из учета объективно существующей неопределенности исходной информации.

Последние варианты также должны принадлежать области Парето, т.е. необходима их проверка принадлежности к этой области. Для выбора окончательного решения в работе предлагается два взаимно дополняющих друг друга пути анализа.