Строительные исследования
страница - 0
Применение концепции IP-storage для создания распределенных систем хранения данных высокой
степени готовности.
Фадеев А.Ю. ( alex@mipt.ru )
Московский физико-технический институт (Государственный университет)
1. Введение
Несмотря на прогресс, достигнутый в последние годы в решении целого ряда задач, связанных с распределенными системами хранения данных, проблема создания высокопроизводительной и в то же время высоконадежной распределенной системы хранения данных продолжает оставаться сложной. Предложенные до настоящего времени методы решения, хоть и снимают некоторые аспекты данной проблемы, имеют ряд существенных недостатков, ограничивающих их область применения. Рассматриваемый в настоящей статье метод основан на использовании концепции IP-Storage, технологии RAID и журналируемой файловой системы. Высокая эффективность и низкая стоимость данного решения позволяет рассматривать этот подход в качестве эффективного средства для построения распределенных систем хранения данных.
1.1. Проблема надежности
Как известно, не бывает абсолютно надежных систем. Так же ни для кого не секрет, что час простоя сервера, обслуживающего несколько тысяч пользователей, может исчисляться сотнями тысяч долларов. Согласно исследованию, проведенному International Data Corp. (IDC) среди компаний из числа Fortune 1000, в 1998 году простои обходились в среднем в 78 000 долларов в час, что составляет свыше 1 млн. долларов в год [Рубер 1998]. С ростом объемов хранимой и обрабатываемой информации стоимость простоя только возрастает. Это заставляет искать методы обеспечивающие снижение вероятности сбоя и уменьшению времени восстановления после сбоя. Высоконадежные системы принято разделять на несколько классов:
High Availability (Высокая готовность)
-степень готовности - 99,9%
-простой не превышает 5 часов в год. Fault Resiliency (Быстрое восстановление после сбоя)
-степень готовности - 99,99%
-простой не превышает 1 часа в год Fault Tolerance (Устойчивость к сбоям)
-степень готовности - 99,999%
-простой не превышает 5 минут в год Continuous Availability (Постоянная готовность)
-степень готовности - выше 99,999%
-простой не допускается
-производительность при сбое не падает Disaster Tolerance (Устойчивость к стихийным бедствиям)
-система территориально распределена
С одной стороны, хотелось бы обеспечить максимальную надежность хранения данных и минимальное время простоя. С другой стороны, интуитивно понятно, что минута простоя
сервера обслуживающего банковские операции и корпоративного WWW - сервера стоят разных денег. Отсюда и разный подход к решению проблемы надежности - банковский сервер должен быть настолько надежен, насколько это позволяет нынешнее развитие отказоустойчивых систем и то, что система будет на порядок-два дороже традиционной ни кого не шокирует. Какие методы используются для решения этой задачи? Во-первых, для Internet серверов используются различные технологии балансировки нагрузки, которые кроме собственно равномерного распределения нагрузки по серверам, обеспечивают некоторую отказоустойчивость. Балансировка нагрузки обеспечивается либо средствами DNS [Bestavros & Mehrotra 2001], либо специальными средствами на самих серверах [Aversa & Bestavros 1999]. Недостатками такого подхода являются узкая возможная область применения и невысокая обеспечиваемая надежность. Еще одним традиционным решением являются кластеры. Классический кластер, состоящий из нескольких узлов, имеющих общую дисковую систему, обеспечивает степень готовности 99,9%. Среди недостатков можно отметить ограниченную распределенность системы в случае использования традиционных протоколов SAN (Fibre Channel). Это не позволяет строить Disaster Tolerance системы, востребованные крупными компаниями - события 11 сентября 2001 года в США показали, что при проектировании современных систем хранения данных следует учитывать даже такие маловероятные события, как террористические акты.
1.2.Современные технологии распределенного хранения данных
В последние годы рост Интернет и расширяющееся применение Интранет привело к возникновению проблемы высоконадежного хранения данных и обеспечения удаленного высокоскоростного доступа к ним. Причем, масштабы Интранет сетей достигли таких размеров, что зачастую такие сети уже не отличаются по своим характеристикам от Интернет. Таким образом, проблемы хранения информации и обеспечения доступа к ней в Интернет и Интранет сетях приобрели одинаковый характер и требуют единого подхода к их решению. В то же время существующие технологии построения распределенных сетей хранения данных предлагают различный по своей сути подход - в Интранет это технологии использующие архитектуру SAN (Storage Area Network), а Интернет - NAS (Network Attached Storage).
1.3.Классическая SAN
Представляя собой дальнейшее развитие модели DAS (Direct Attached Storage) SAN предлагает доступ к файлам на уровне блочного устройства. Если для DAS характерны ограниченная масштабируемость, сложность управления и повышенная опасность возникновения узких мест на серверах и в локальных сетях, то классическая SAN обеспечивает резервные пути между клиентами и устройством хранения, а также удаленное зеркалирование на случай сбоев и резервное копирование, не снижающее производительность работы серверов приложений и базовой сети. Кроме того, в SAN системах можно консолидировать хранилища, упростив таким образом управление ими. Централизованное управление объединенным пулом хранилищ зачастую более эффективно, чем отдельными напрямую подключенными подсистемами хранения. По мере необходимости можно легко выделять место в объединенном пуле, что упрощает администрирование и позволяет оптимизировать хранение данных. Основное преимущество такой модели хранения - максимальная производительность и эффективность использования ресурсов путем их объединения и централизованного управления данными и ресурсами хранения.
Стандартом де-факто для SAN стала технология Fibre Channel [Jurgens 1995], обеспечивающая достижение производительности порядка 200 Мбайт/сек и позволяющая
строить распределенные хранилища данных масштаба предприятия. Используя принцип инкапсуляции протокола SCSI в Fibre Channel, данная технология нашла широкое применение благодаря большому количеству инсталлированных SCSI устройств. Отчеты IDC [Borovick et al. 2001] и ITcentrix [ITcentrix 1999] показывали радужную картину роста объемов продаж оборудования SAN. К сожалению, Fibre Channel не лишен недостатков. В первую очередь это ограничения, накладываемые на максимальный размер сети на базе Fibre Channel (10 км), ограничивающие областьприменения SAN границами
кампусной инфраструктуры, не позволяя строить более распределенные сети SAN, даже масштаба города, не говоря уже о трансконтинентальных сетях. Кроме того, ожидаемого удешевления оборудования Fibre Channel так и не произошло и в настоящий момент данная технология не обеспечивает требуемого соотношения цена/качество.
1.4.Классический NAS
Использование IP для организации доступа к данным не ново. На протяжении многих лет для доступа к хранимым данным применялись такие протоколы, как CIFS (Common Internet File System) и NFS (Network File System). Основной особенностью, характерной для этих протоколов, является представление доступа к файлам на уровне файловой системы. Файловый сервер или NAS-устройство (различие между ними весьма условно и состоит в том, что NAS-устройство обычно представляет собой специализированный компьютер со встроенной операционной системой) предоставляет клиентам доступ к файлам. Достоинствами такого решения является отсутствие ограничений на размеры системы, хорошее отношение цена/качество и отличная поддержка со стороны вендоров. Недостатком является собственно основная особенность - представление доступа на уровне файловой системы.
1.5.NAS vs. SAN
Обе архитектуры имеют свои достоинства и недостатки, но общим недостатком можно считать невозможность использования ни одной из них для решения проблемы распределенного хранения данных в современных условиях, когда с одной стороны масштабы Интранет сетей сопоставимы с Интернет, характеристики каналов и протоколы, применяемые в них, так же соответствуют применяемым в Интернет, а с другой стороны, требования, предъявляемые к характеристикам систем, остаются характерными для Интранет (характер приложений, требования к производительности и тд.). Для NAS архитектур характерно предоставление доступа к ресурсам на уровне файловой системы и использование протокола TCP/IP. Для SAN архитектур характерно предоставление доступа к ресурсам на уровне устройства. Оба этих подхода имеют свои плюсы и минусы. Одним из минусов представления ресурса на уровне файловой системы является тот факт, что такие аспекты как обеспечение надежности хранения данных, возможности по восстановлению после сбоев, управление доступом к файлам обеспечивается самой файловой системой. Как будет показано в дальнейшем, ни одна из существующих распределенных файловых систем не удовлетворяет современным требованиям ни по функциональности в плане надежности хранения данных, ни по возможностям в плане масштабирования производительности. Предоставление доступа на уровне устройства лишено многих проблем свойственных распределенным файловым системам, в частности позволяет строить классические RAID системы, использовать любые файловые системы (например, любую из существующих журналируемых файловых систем). Главной проблемой было то, что SAN системы не были ориентированы на использование протокола TCP/IP и требовали строить специализированные сети хранения данных, которые мало того, что стоят существенно дороже по сравнению с обычными сетями передачи данных общего назначения, так и обладают рядом существенных ограничений (в
содержание:
[стр.Введение] [стр.1] [стр.2] [стр.3]