Система хранения данных что. Система хранения данных - схд

Зависимость бизнес-процессов предприятия от ИТ-сферы постоянно растет. На сегодня вопросу непрерывности работы ИТ-сервисов уделяют внимание не только крупные компании, но и представители среднего, а зачастую и малого бизнеса.

Одним из центральных элементов обеспечения отказоустойчивости является система хранения данных (СХД) - устройство на котором централизовано храниться вся информация. СХД характеризуется высокой масштабируемостью, отказоустойчивостью, возможностью выполнять все сервисные операции без остановки работы устройства (в том числе замену компонентов). Но стоимость даже базовой модели измеряется в десятках тысяч долларов. Например, Fujitsu ETERNUS DX100 с 12-ю дисками Nearline SAS 1Tb SFF (RAID10 6TB) стоит порядка 21 000 USD , что для небольшой компании очень дорого.

В нашей статье мы предлагаем рассмотреть варианты организации бюджетного хранилища , которое не проигрывает по производительности и надежности классическим системам. Для его реализации предлагаем использовать CEPH .

Что такое CEPH и как он работает?

CEPH – хранилище на базе свободного ПО, представляет из себя объединение дисковых пространств нескольких серверов (количество серверов на практике измеряется десятками и сотнями). CEPH позволяет создать легкомасштабируемое хранилище с высокой производительностью и избыточностью ресурсов. CEPH может использоваться как в качестве объектного хранилища (служить для хранения файлов) так и в качестве блочного устройства (отдача виртуальных жестких дисков).

Отказоустойчивость хранилища обеспечивается репликацией каждого блока данных на несколько серверов. Количество одновременно хранимых копий каждого блока называется фактором репликации, по умолчанию его значение равно 2. Схема работы хранилища показана на рисунке 1, как видим информация разбивается на блоки, каждый из которых распределяется по двум разным нодам.

Рисунок 1 - Распределение блоков данных

Если на серверах не используются отказоустойчивые дисковые массивы, для надежного хранения данных рекомендуется использовать более высокое значение фактора репликации. В случае выхода из строя одного из серверов CEPH фиксирует недоступность блоков данных (рисунок 2), которые на нем размещены, ожидает определенное время (параметр настраивается, по умолчанию 300 сек.), после чего начинает воссоздание недостающих блоков информации в другом месте (рисунок 3).

Рисунок 2 - Выход из строя одной ноды

Рисунок 3 - Восстановление избыточности

Аналогично, в случае добавления в кластер нового сервера происходит ребаллансировка хранилища с целью равномерного заполнения дисков на всех нодах. Механизм который контролирует процессы распределения блоков информации в кластере CEPH называется CRUSH.

Для получения высокой производительности дискового пространства в кластерах CEPH рекомендуется использовать функционал cache tiering (многоуровневое кэширование). Смысл его заключается в том, чтобы создать отдельный высокопроизводительный пул и использовать его для кэширования, основная же информация будет размещена на более дешевых дисках (рисунок 4).

Рисунок 4 - Логическое представление дисковых пулов

Многоуровневое кэширование будет работать следующим образом: запросы клиентов на запись будут записываться в самый быстрый пул, после чего перемещаться на уровень хранения. Аналогично по запросам на чтение – информация при обращении будет подниматься на уровень кэширования и обрабатываться. Данные продолжают оставаться на уровне кэша пока не становятся неактивными или пока не теряют актуальность (рисунок 5). Стоит отметить, что кэширование можно настроить только на чтение, в этом случае запросы на запись будут заноситься прямо в пул хранения.

Рисунок 5 - Принцип работы кэш-тирринг

Рассмотрим реальные сценарии использования CEPH в организации для создания хранилища данных. В качестве потенциального клиента рассматриваются организации малого и среднего бизнеса, где будет наиболее востребована эта технология. Мы рассчитали 3 сценария использования описанного решения:

1. Производственное или торговое предприятие с требованием к доступности внутренней ERP системы и файлового хранилища 99,98% в год, 24/7.
2. Организация, которой для ее бизнес-задач требуется развернуть локальное частное облако.
3. Очень бюджетное решение для организации отказоустойчивого блочного хранилища данных, полностью независимое от аппаратного обеспечения с доступностью 99,98% в год и недорогим масштабированием.

Сценарий использования 1. Хранилище данных на базе CEPH

Рассмотрим реальный пример применения CEPH в организации. Например, нам требуется отказоустойчивое производительное хранилище объемом 6 Тб, но затраты даже на базовую модель СХД с дисками составляют порядка $21 000 .

Собираем хранилище на базе CEPH. В качестве серверов предлагаем использовать решение Supermicro Twin (Рисунок 6). Продукт представляет собой 4 серверные платформы в едином корпусе высотой 2 юнита, все основные узлы устройства дублируются, что обеспечивает его непрерывное функционирование. Для реализации нашей задачи будет достаточно использовать 3 ноды, 4-я будет в запасе на будущее.

Рисунок 6 - Supermicro Twin

Комплектуем каждую из нод следующим образом: 32 Гб ОЗУ, 4-х ядерный процессор 2,5 Ггц, 4 SATA диска по 2 Тб для пула хранения объединяем в 2 массива RAID1, 2 SSD диска для пула кэширования также объединяем в RAID1 . Стоимость всего проекта указана в таблице 1.

Таблица 1. Комплектующие для хранилища на базе CEPH

Комплектующие	Цена, USD	Кол-во	Стоимость, USD
	4 999,28	1	4 999,28
	139,28	6	835,68
Процессор Ivy Bridge-EP 4-Core 2.5GHz (LGA2011, 10MB, 80W, 22nm) Tray	366,00	3	1 098,00
	416,00	12	4 992,00
	641,00	6	3 846,00
ИТОГО			15 770,96

Вывод: В результате построения хранилища получим дисковый массив 6Tb c затратами порядка $16 000 , что на 25% меньше чем закупка минимальной СХД, при этом на текущих мощностях можно запустить виртуальные машины, работающие с хранилищем, тем самым сэкономить на покупке дополнительных серверов. По сути – это законченное решение.

Серверы, из которых строится хранилище, можно использовать не только как вместилище жестких дисков, но в качестве носителей виртуальных машин или серверов приложений.

Сценарий использования 2. Построение частного облака

Задача состоит в том, чтобы развернуть инфраструктуру для построения частного облака с минимальными затратами.

Построение даже небольшого облака состоящего из например из 3-х носителей примерно в $36 000 : $21 000 – стоимость СХД + $5000 за каждый сервер с 50% наполнением.

Использование CEPH в качестве хранилища позволяет совместить вычислительные и дисковые ресурсы на одном оборудовании. То есть не нужно закупать отдельно СХД - для размещения виртуальных машин будут использоваться диски установленные непосредственно в серверы.

Краткая справка:
Классическая облачная структура представляет из себя кластер виртуальных машин, функционирование которых обеспечивают 2 основных аппаратных компонента:

1. Вычислительная часть (compute) - серверы, заполненные оперативной памятью и процессорами, ресурсы которых используются виртуальными машинами для вычислений
2. Система хранения данных (storage) – устройство наполненное жесткими дисками, на котором хранятся все данные.

В качестве оборудования берем те же серверы Supermicro, но ставим более мощные процессоры – 8-ми ядерные с частотой 2,6 GHz, а также 96 Гб ОЗУ в каждую ноду , так как система будет использоваться не только для хранения информации, но и для работы виртуальных машин. Набор дисков берем аналогичный первому сценарию.

Таблица 2. Комплектующие для частного облака на базе CEPH

Комплектующие	Цена, USD	Кол-во	Стоимость, USD
Supermicro Twin 2027PR-HTR: 4 hot-pluggable systems (nodes) in a 2U form factor. Dual socket R (LGA 2011), Up to 512GB ECC RDIMM, Integrated IPMI 2.0 with KVM and Dedicated LAN. 6x 2.5" Hot-swap SATA HDD Bays. 2000W Redundant Power Supplies	4 999,28	1	4 999,28
Модуль памяти Samsung DDR3 16GB Registered ECC 1866Mhz 1.5V, Dual rank	139,28	18	2 507,04
Процессор Intel Xeon E5-2650V2 Ivy Bridge-EP 8-Core 2.6GHz (LGA2011, 20MB, 95W, 32nm) Tray	1 416,18	3	4 248,54
Жесткий диск SATA 2TB 2.5" Enterprise Capacity SATA 6Gb/s 7200rpm 128Mb 512E	416	12	4 992,00
Твердотельный накопитель SSD 2.5"" 400GB DC S3710 Series.	641	6	3 846,00
ИТОГО			20 592,86

Собранное облако будет иметь следующие ресурсы с учетом сохранения стабильности при выходе из строя 1-й ноды:

• Оперативная память: 120 Гб
• Дисковое пространство 6000 Гб
• Процессорные ядра физические: 16 Шт.

Собранный кластер сможет поддерживать порядка 10 средних виртуальных машин с характеристиками: 12 ГБ ОЗУ / 4 процессорных ядра / 400 ГБ дискового пространства.

Также стоит учесть что все 3 сервера заполнены только на 50% и при необходимости их можно доукомплектовать, тем самым увеличив пул ресурсов для облака в 2 раза.

Вывод: Как видим, мы получили как полноценный отказоустойчивый кластер виртуальных машин, так и избыточное хранилище данных - выход из строя любого из серверов не критичен – система продолжит функционирование без остановки, при этом стоимость решения примерно в 1,5 раза ниже , чем купить СХД и отдельные сервера.

Сценарий использования 3. Построение сверхдешевого хранилища данных

Если бюджет совсем ограничен и нет денег на закупку оборудования описанного выше, можно закупить серверы бывшие в употреблении, но на дисках экономить не стоит – их настоятельно рекомендуется купить новые.

Предлагаем рассмотреть следующую структуру: закупается 4 серверные ноды, в каждый сервер ставиться по 1 SSD-диску для кэширования и по 3 SATA диска . Серверы Supermicro с 48 ГБ ОЗУ и процессорами линейки 5600 можно сейчас купить примерно за $800 .

Диски не будут собираться в отказоустойчивые массивы на каждом сервере, а будут представлены как отдельное устройство. В связи с этим для повышения надежности хранилища будем использовать фактор репликации 3. То есть у каждого блока будет 3 копии. При такой архитектуре зеркалирования дисков SSD кеша не требуется, так как происходит автоматическое дублирование информации на другие ноды.

Таблица 3. Комплектующие для стореджа

Вывод: В случае необходимости в данном решении можно использовать диски большего объема, либо заменить их на SAS, если нужно получить максимальную производительность для работы СУБД. В данном примере в результате получим хранилище объемом 8 ТБ с очень низкой стоимостью и очень высокой отказоустойчивостью. Цена одного терабайта получилась в 3,8 раза дешевле , чем при использовании промышленной СХД за $21000.

Итоговая таблица, выводы

Конфигурация	СХД Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10)	СХД Fujitsu ETERNUS DX100 + 12 Nearline SAS 1Tb SFF (RAID10) + Supermicro Twin	Наш сценарий 1: хранилище на базе CEPH	Наш сценарий 2: построение частного облака	Нашсценарий 3: построение сверхдешевого хранилища
Полезный обьем, ГБ	6 000	6 000	6 000	6000	8 000
Цена, USD	21000	36000	15 770	20 592	7 324
Стоимость 1 ГБ, USD	3,5	6	2,63	3,43	0,92
Количество IOPs* (чтение 70%/запись 30%, Размер блока 4К)	760	760	700	700	675
Назначение	Хранилище	Хранилище + Вычисление	Хранилище + Вычисление	Хранилище + Вычисление	Хранилище + Вычисление

*Расчет количества IOPs выполнен для созданных массивов из дисков NL SAS на СХД и дисков SATA на сторедже CEPH, кэширование отключалось для чистоты полученных значений. При использовании кэширования показатели IOPs будут значительно выше до момента заполнения кэша.

В итоге можно сказать, что на основе кластера CEPH можно строить надежные и дешевые хранилища данных. Как показали расчеты, использовать ноды кластера только для хранения не очень эффективно – решение выходит дешевле чем закупить СХД, но не на много – в нашем примере стоимость хранилища на CEPH была примерно на 25% меньше чем Fujitsu DX100. По-настоящему экономия ощущается в результате совмещения вычислительной части и хранилища на одном оборудовании - в таком случае стоимость решения будет в 1,8 раз меньше, чем при построении классической структуры с применением выделенного хранилища и отдельных хост-машин.

Компания EFSOL реализует данное решение по индивидуальным требованиям. Мы можем использовать имеющееся у вас оборудование, что ещё более снизит капитальные затраты на внедрение системы. Свяжитесь с нами и мы проведем обследование вашего оборудования на предмет его использования при создании СХД.

Компания Тринити является одним из лидеров ИТ-рынка среди поставщиков систем хранения данных (СХД) в России. За свою более 25-летнюю историю, являясь официальным поставщиком и партнером известных брендов СХД, мы поставили своим заказчиком несколько сотен систем хранения данных, различного назначения, таких вендоров (производителей) оборудования, как: IBM, Dell EMC, NetApp, Lenovo, Fujitsu, HP, Hitachi, Oracle (Sun Microsystems), Huawei, RADIX, Infortrend. Некоторые системы хранения данных содержали более 1000 жестких дисков и имели емкость более петабайта.

Сегодня мы являемся мультивендорным системным интегратором и занимаемся проектированием и построением ИТ-инфраструктуры предприятий, поставляя и внедряя у наших заказчиков, не только системы хранения данных известных марок, но и серверное и сетевое оборудование, инженерную инфраструктуру, средства обеспечения информационной безопасности, а также управления и мониторинга. Комплексный подход компании Тринити обеспечивается глубокой экспертизой наших инженеров и многолетними партнерскими отношениями с производителями аппаратного и программного обеспечения. Сегодня мы можем предложить комплексные ИТ-решения для бизнеса любого масштаба и задач любой сложности.

Мы оказываем большой спектр БЕСПЛАТНЫХ услуг , которыми сопровождаем возможные активности во взаимоотношениях с нашими потенциальными заказчиками ИТ-оборудования и решений. Мы готовы БЕСПЛАТНО проработать и подготовить решение ИТ-задачи в части анализа всех возможных вариантов, выбора оптимального, расчет архитектуры решения, составление всех спецификаций оборудования и ПО, а также развертывание этого решения в инфраструктуре заказчика.

Системный подход для комплексного решение ИТ-задач заказчика или поставка отдельных ИТ-составляющих решения предполагает глубокое консультирование экспертов «Тринити» для выбора единственно правильного и оптимального решения.

Компания Тринити является официальным партнером ведущих производителей СХД оборудования и программного обеспечения, подтвержденного самыми высокими статусами уровня Premier (Премьер), GOLD (Золотой), PLATINUM (Платиновый) и получением специальных наград, которыми вендоры отмечают своих партнеров за достижения в уровне экспертизы и внедрении сложных информационных технологий в отрасли производства, торговли и государственного управления.

Мы предлагаем не только купить оборудование для хранения данных ведущих международных брендов (производителей), таких как Dell EMC, Lenovo, NetApp, Fujitsu, HP (HPe), Hitachi, Cisco, IBM, Huawei, но и готовы выполнить для вас весь спектр ИТ-задач по подбору оборудования, консультированию, составлению спецификаций, пилотному тестированию в нашей лаборатории или на вашей площадке, настройке, инсталляции и оптимизации инфраструктуры именно под ваши задачи и конкретные приложения. Также мы готовы предоставить специальные цены на поставляемые системы хранения данных и сопутствующее оборудование и ПО, а также оказать квалифицированную техническую поддержку и сервисное обслуживание.

Мы всегда готовы помочь разработать техническое задание и спецификацию систем хранения данных (СХД) и серверного оборудования для конкретных задач, сервисов и приложений, подобрать финансовые условия (рассрочка, лизинг), осуществить доставку и монтаж оборудования на площадке заказчика и последующий запуск в работу с консультированием и обучением ИТ-сотрудников клиента.

Подбор оптимальной конфигурации оборудования для хранения и обработки данных

Мы готовы предложить Вам системы хранения данных оптимальной комплектации. В своем портфеле решений, мы имеем различные системы хранения данных: cистемы Класса All-Flash (флэш), Гибридные СХД на твердотельных Флэш-накопителях, SSD, NVMe, SAS, SATA с различными вариантами подключения к хостам, как файловых сред (сетевая файловая система NFS и SMB), так и блочных СХД (Fibre Channel и iSCSI), а также готовы произвести расчет гиперконвергентных систем (HCI). Вы можете сформулировать ваши задачи или пожелания к составу СХД, требования к производительности (IOPs - операций ввода-вывода в секунду), требований к времени доступа (Latency, задержка в мили- или микросекундах), емкости хранения (гигабайт, терабайт, петабайт), физическим размерам и потребляемой энергии, а также к серверам и ПО (операционные системы, гипервизоры и прикладные приложения). Мы готовы проконсультировать Вас по телефону или по почте и готовы предложить провести вам полный или частичный аудит ресурсов и сервисов хранения ИТ-инфраструктуры вашей компании, для глубокого понимания ваших задач, требований и возможностей для оптимального подбора ИТ-решения (СХД) или выполнения комплексного проекта, результаты которого будут работать на ваш бизнес долгие годы, имея возможность наращивания мощности и емкости хранения с ростом требований, вашей специфики и задач развития. Вы сможете подобрать (получить спецификации и цены), произвести пилотное тестирование систем хранения данных в своей инфраструктуре, получить все необходимые консультации и в последующем купить системы хранения данных и другое сопутствующее оборудование и ПО, получив моновендорное или мультивендорное решение, а наши специалисты выполнят весь комплекс поставки и работ от вашего первого контакта с нами, до подписания актов выполненных работ и оказания сервисного обслуживания.

Кроме готовых и настроенных систем хранения данных, компания Тринити предлагает большой спектр серверного оборудования и сетевой инфраструктуры, которые интегрируются в ИТ инфраструктуру заказчика для комплексного решения задач хранения и обработки данных. Практически любой обзор систем хранения данных, который можно найти на тематических сайтах и форумах, обязательно будет включать в себя информацию наших многолетних партнеров IBM, Dell EMC, NetApp, Lenovo, Fujitsu, HP, Hitachi, Cisco и Huawei. Все это оборудование для хранения данных Вы можете купить и настроить в нашей компании быстро и выгодно.

Сайзинг и подбор спецификации систем хранения данных под задачи Вашей компании

У нас на складе есть как готовые, наиболее востребованные системы хранения данных, так и все возможности для быстрой и точной проработки технического задания для разработки конфигураций СХД под нужды конкретной компании. Наши системы способны работать в круглосуточном режиме: 24 часа в день, 7 дней в неделю, 365 дней в году без сбоев и ошибок. Такой статистики мы добиваемся высоким качеством поставляемых решений и жестким тестированием всех узлов и компонентов систем хранения перед отгрузкой нашим заказчикам. Применение RAID технологий, средств отказоустойчивости, кластеризации и решений защиты от катастроф (Disaster Recovery), как на аппаратном уровне, так и на уровне операционных систем, контроллеров, гипервизоров и развернутых сервисов, гарантируют целостность и доступность обрабатываемой и хранимой информации на системах хранения данных, так и на резервных копиях. Вы можете купить просто системы хранения данных в нашей компании или пригласить нас для участия в комлексном ИТ-проекте, в котором оборудование хранения данных является одной из составляющих ИТ-инфраструктуры предприятия.

Собственная разработка системы хранения данных

Компания Тринити разработала и поставляет систему хранения данных (СХД) на российский рынок под собственной торговой маркой "FlexApp". В основе этой системы хранения данных лежит программное обеспечение (ПО) компании RAIDIX. Линейка оборудования СХД отечественного производства Тринити включает в себя, как высокопроизводительные системы хранения данных на базе флеш-накопителей (All-Flash), так и емкие СХД с использованием множества самых емких жестких дисков по 16ТБ (терабайт) в каждой полке с возможностью объединять эти полки в пулы достигая общей емкости в сотни петабайт. Разработанная нами система хранения данных FlexApp может являться основой оборудования хранения данных для выполнения операторами связи требований «закона Яровой».

Как можно купить систему хранения данных в нашей компании?

Для того, чтобы рассчитать и купить систему хранения данных в нашей компании, необходимо отправить запрос по почте на интересующую Вас модель или описать ваши требования к составу такой модели. Также вы можете позвонить по нашим телефонам в рабочие часы. Мы будем рады обсудить с Вами задачи и требования к системам хранения данных, их производительности, уровню отказоустойчивости. Мы готовы предоставить полную и бесплатную экспертную консультацию по комплектации и техническим особенностям любых систем хранения данных, производства наших партнеров: Dell EMC, Lenovo, NetApp, Fujitsu, HP (HPe), Hitachi, Cisco, IBM, Huawei для оптимального подбора необходимого решения.

Наши офисы с инженерами и экспертами расположены в трех регионах страны:

• Центральный ФО, Москва;
• Северо-Западный ФО, Санкт-Петербург;
• Уральский ФО, Екатеринбург.

Мы всегда готовы видеть Вас и приглашаем посетить офисы Тринити для обсуждения решения поставленных ИТ-задач с нашими менеджерами, экспертами, инженерами и руководством компании. При необходимости мы готовы организовать встречи заказчиков с представителями вендоров (производителей) и поставщиков. Также наши сотрудники готовы приехать на вашу площадку для знакомства и детальной проработки ИТ-инфраструктуры и функционирования ИТ-сервисов.

Системы хранения данных с прямым подключением (DAS) реализуют самый известный тип соединения. При использовании DAS сервер имеет персональную связь с СХД и почти всегда является единоличным пользователем устройства. При этом сервер получает блочный доступ к системе хранения данных, то есть обращается непосредственно к блокам данных.

Системы хранения данных такого типа достаточно простые и обычно недорогие. Недостатком прямого способа подключения является небольшое расстояние между сервером и устройством хранения. Типичным интерфейсом DAS является SAS.

Network Attached Storage (NAS)

Сетевые системы хранения данных (NAS), также известные как файловые серверы, предоставляют свои сетевые ресурсы клиентам по сети в виде совместно используемых файлов или точек монтирования каталогов. Клиенты используют протоколы сетевого доступа к файлам, такие как SMB (ранее известный как CIFS) или NFS. Файловый сервер, в свою очередь, использует протоколы блочного доступа к своему внутреннему хранилищу для обработки запросов файлов клиентами. Так как NAS работает по сети, хранилище может быть очень далеко от клиентов. Множество сетевых систем хранения данных предоставляет дополнительные функции, такие как снятие образов хранилища, дедупликация или компрессия данных и другие.

Storage Area Network (SAN)

Сеть хранения данных (SAN) предоставляет клиентам блочный доступ к данным по сети (например, Fibre Channel или Ethernet). Устройства в SAN не принадлежат одному серверу, а могут использоваться всеми клиентами сети хранения. Возможно разделение дискового пространства на логические тома, которые выделяются отдельным хост-серверам. Эти тома не зависят от компонентов SAN и их размещения. Клиенты обращаются к хранилищу данных с использованием блочного типа доступа, как и при DAS подключении, но, так как SAN использует сеть, устройства хранения данных могут располагаться далеко от клиентов.

В настоящее время SAN архитектура используют протокол SCSI (Small Computer System Interface) для передачи и получения данных. Fibre Channel (FC) SAN инкапсулируют протокол SCSI в Fibre Channel фреймы. Сети хранения данных, использующие iSCSI (Internet SCSI) используют в качестве транспорта SCSI TCP/IP пакеты. Fibre Channel over Ethernet (FCoE) инкапсулирует протокол Fibre Channel в пакеты Ethernet, используя относительно новую технологию DCB (Data Center Bridging), которая вносит набор улучшений в традиционный Ethernet и может в настоящее время быть развернута на 10GbE инфраструктуре. Благодаря тому, что каждая из этих технологий позволяет приложениям получать доступ к хранилищу данных используя один и тот же протокол SCSI, становится возможным использовать их все в одной компании или мигрировать с одной технологии на другую. Приложения, запущенные на сервере, не могут различить FC, FCoE, iSCSI и даже отличить DAS от SAN.

Ведется множество обсуждений по поводу выбора FC или iSCSI для построения сети хранения данных. Некоторые компании фокусируются на невысокой стоимости первоначального развертывания iSCSI SAN, другие выбирают высокую надежность и доступность Fibre Channel SAN. Хотя low-end решения iSCSI дешевле, чем Fibre Channel, с ростом производительности и надежности iSCSI SAN ценовое преимущество исчезает. При этом появляются некоторые реализации FC, которые проще в использовании, чем большинство iSCSI решений. Поэтому выбор той или иной технологии зависит от бизнес-требований, существующей инфраструктуры, экспертизы и бюджета.

Большинство крупных организаций, которые используют сети хранения данных, выбирают Fibre Channel. Эти компании обычно требуют проверенную технологию, имеют необходимость в высокой пропускной способности и обладают бюджетом для покупки самого надежного и производительного оборудования. Кроме того, они располагают персоналом для управления сетью хранения данных. Некоторые из таких компаний планируют продолжать инвестиции в Fibre Channel инфраструктуру, другие же инвестируют в решения iSCSI, особенно 10GbE, для своих виртуализированных серверов.

Небольшие компании чаще выбирают iSCSI из-за низкого ценового порога входа, при этом они получают возможность для дальнейшего масштабирования SAN. Недорогие решения обычно используют технологию 1GbE; решения от 10GbE стоят существенно дороже и как правило не рассматриваются в качестве SAN начального уровня.

Unified Storage

Универсальные системы хранения данных (Unified Storage) совмещают в себе технологии NAS и SAN в едином интегрированном решении. Эти универсальные хранилища позволяют использовать как блочный, так и файловый тип доступа к общим ресурсам, кроме того, управление такими устройствами проще благодаря ПО, обеспечивающему централизованное управление.

В данной статье, мы рассмотрим, какие виды систем хранения данных (СХД) на сегодняшнее время существуют, так же рассмотрю одни из основных компонентов СХД – внешние интерфейсы подключения (протоколы взаимодействия) и накопители, на которых хранятся данные. Так же проведем их общее сравнение по предоставляемым возможностям. Для примеров мы буду ссылаться на линейку СХД, представляемую компанией DELL.

• Примеры моделей DAS
• Примеры моделей NAS
• Примеры моделей SAN
• Типы носителей информации и протокол взаимодействия с системами хранения данных Протокол Fibre Channel
• Протокол iSCSI
• Протокол SAS
• Сравнение протоколов подключения систем хранения данных

Существующие типы систем хранения данных

В случае отдельного ПК под системой хранения данных можно понимать внутренний жесткий диск или систему дисков (RAID массив). Если же речь заходит о системах хранения данных разного уровня предприятий, то традиционно можно выделить три технологии организации хранения данных:

• Direct Attached Storage (DAS);
• Network Attach Storage (NAS);
• Storage Area Network (SAN).

Устройства DAS (Direct Attached Storage) – решение, когда устройство для хранения данных подключено непосредственно к серверу, или к рабочей станции, как правило, через интерфейс по протоколу SAS.

Устройства NAS (Network Attached Storage) – отдельно стоящая интегрированная дисковая система, по-сути, NAS-cервер, со своей специализированной ОС и набором полезных функций быстрого запуска системы и обеспечения доступа к файлам. Система подключается к обычной компьютерной сети (ЛВС), и является быстрым решением проблемы нехватки свободного дискового пространства, доступного для пользователей данной сети.

Storage Area Network (SAN) –это специальная выделенная сеть, объединяющая устройства хранения данных с серверами приложений, обычно строится на основе протокола Fibre Channel или протокола iSCSI.

Теперь давайте более детально рассмотрим каждый из приведенных выше типов СХД, их положительные и отрицательные стороны.

Архитектура системы хранения DAS (Direct Attached Storage)

К основным преимуществам DAS систем можно отнести их низкую стоимость (в сравнении с другими решениями СХД), простоту развертывания и администрирования, а также высокую скорость обмена данными между системой хранения и сервером. Собственно, именно благодаря этому они завоевали большую популярность в сегменте малых офисов, хостинг-провайдеров и небольших корпоративных сетей. В то же время DAS-системы имеют и свои недостатки, к которым можно отнести неоптимальную утилизацию ресурсов, поскольку каждая DAS система требует подключения выделенного сервера и позволяет подключить максимум 2 сервера к дисковой полке в определенной конфигурации.

Рисунок 1: Архитектура Direct Attached Storage

• Достаточно низкая стоимость. По сути эта СХД представляет собой дисковую корзину с жесткими дисками, вынесенную за пределы сервера.
• Простота развертывания и администрирования.
• Высокая скорость обмена между дисковым массивом и сервером.

• Низкая надежность. При выходе из строя сервера, к которому подключено данное хранилище, данные перестают быть доступными.
• Низкая степень консолидации ресурсов – вся ёмкость доступна одному или двум серверам, что снижает гибкость распределения данных между серверами. В результате необходимо закупать либо больше внутренних жестких дисков, либо ставить дополнительные дисковые полки для других серверных систем
• Низкая утилизация ресурсов.

Примеры моделей DAS

Из интересных моделей устройств этого типа хотелось бы отметить модельный ряд DELL PowerVaultсерии MD. Начальные модели дисковых полок (JBOD) MD1000 и MD1120 позволяют создавать дисковые массивы c количеством диском до 144-х. Это достигается за счет модульности архитектуры, в массив можно подключить вплоть до 6 устройств, по три дисковых полки на каждый канал RAID-контроллера. Например, если использовать стойку из 6 DELL PowerVault MD1120, то реализуем массив с эффективным объемом данных 43,2 ТБ. Подобные дисковые полки подключаются одним или двумя кабелями SAS к внешним портам RAID-контроллеров, установленных в серверах Dell PowerEdge и управляются консолью управления самого сервера.

Если же есть потребность в создании архитектуры с высокой отказоустойчивостью, например, для создания отказоустойчивого кластера MS Exchange, SQL-сервера, то для этих целей подойдет модельDELL PowerVault MD3000. Это система уже имеет активную логику внутри дисковой полки и полностью избыточна за счет использования двух встроенных контроллеров RAID, работающих по схеме «актвиный-активный» и имеющих зеркалированную копию буферизованных в кэш-памяти данных.

Оба контроллера параллельно обрабатывают потоки чтения и записи данных, и в случае неисправности одного из них, второй «подхватывает» данные с соседнего контроллера. При этом подключение к низко уровнему SAS-контроллеру внутри 2-х серверов (кластеру) может производиться по нескольким интерфейсам (MPIO), что обеспечивает избыточность и балансировку нагрузки в средах Microsoft. Для наращивания дискового пространства к PowerVault MD3000 можно подключить 2-е дополнительные дисковые полки MD1000.

Архитектура системы хранения NAS (Network Attached Storage)

Технология NAS (сетевые подсистемы хранения данных, Network Attached Storage) развивается как альтернатива универсальным серверам, несущим множество функций (печати, приложений, факс сервер, электронная почта и т.п.). В отличие от них NAS-устройства исполняют только одну функцию — файловый сервер. И стараются сделать это как можно лучше, проще и быстрее.

NAS подключаются к ЛВС и осуществляют доступ к данным для неограниченного количества гетерогенных клиентов (клиентов с различными ОС) или других серверов. В настоящее время практически все NAS устройства ориентированы на использование в сетях Ethernet (Fast Ethernet, Gigabit Ethernet) на основе протоколов TCP/IP. Доступ к устройствам NAS производится с помощью специальных протоколов доступа к файлам. Наиболее распространенными протоколами файлового доступа являются протоколы CIFS, NFS и DAFS. Внутри подобных серверов стоят специализированные ОС, такие как MS Windows Storage Server.

Рисунок 2: Архитектура Network Attached Storage

• Дешевизна и доступность его ресурсов не только для отдельных серверов, но и для любых компьютеров организации.
• Простота коллективного использования ресурсов.
• Простота развертывания и администрирования
• Универсальность для клиентов (один сервер может обслуживать клиентов MS, Novell, Mac, Unix)

• Доступ к информации через протоколы “сетевых файловых систем” зачастую медленнее, чем как к локальному диску.
• Большинство недорогих NAS-серверов не позволяют обеспечить скоростной и гибкий метод доступа к данным на уровне блоков, присущих SAN системам, а не на уровне файлов.

Примеры моделей NAS

В настоящий момент классические NAS решения, такие как PowerVault NF100/500/600 . Это системы на базе массовых 1 и 2-х процессорных серверов Dell, оптимизированных для быстрого развертывания NAS-сервисов. Они позволяют создавать файловое хранилище вплоть до 10 ТБ (PowerVault NF600) используя SATA или SAS диски, и подключив данный сервер к ЛВС. Также имеются и более высокопроизводительные интегрированные решение, например PowerVault NX1950 , вмещающие в себя 15 дисков и расширяемые до 45 за счет подключения дополнительных дисковых полок MD1000.

Серьезным преимуществом NX1950 является возможность работать не только с файлами, но и с блоками данных на уровне протокола iSCSI. Также разновидность NX1950 может работать как «гейтвэй», позволяющий организовать файловый доступ к СХД на базе iSCSI (c блочным методом доступа), например MD3000i или к Dell EqualLogic PS5x00.

Архитектура системы хранения SAN (Storage Area Network)

Storage Area Network (SAN) — это специальная выделенная сеть, объединяющая устройства хранения данных с серверами приложений, обычно строится на основе протокола Fibre Channel, либо на набирающем обороты протоколу iSCSI. В отличие от NAS, SAN не имеет понятия о файлах: файловые операции выполняются на подключенных к SAN серверах. SAN оперирует блоками, как некий большой жесткий диск. Идеальный результат работы SAN — возможность доступа любого сервера под любой операционной системой к любой части дисковой емкости, находящейся в SAN. Оконечные элементы SAN — это серверы приложений и системы хранения данных (дисковые массивы, ленточные библиотеки и т. п.). А между ними, как и в обычной сети, находятся адаптеры, коммутаторы, мосты, концентраторы. ISCSI является более «дружелюбным» протоколом, поскольку он основан на использовании стандартной инфраструктуры Ethernet – сетевых карт, коммутаторов, кабелей. Более того, именно системы хранения данных на базе iSCSI являются наиболее популярными для виртуализированных серверов, в силу простоты настройки протокола.

Рисунок 3: Архитектура Storage Area Network

• Высокая надёжность доступа к данным, находящимся на внешних системах хранения. Независимость топологии SAN от используемых СХД и серверов.
• Централизованное хранение данных (надёжность, безопасность).
• Удобное централизованное управление коммутацией и данными.
• Перенос интенсивного трафика ввода-вывода в отдельную сеть, разгружая LAN.
• Высокое быстродействие и низкая латентность.
• Масштабируемость и гибкость логической структуры SAN
• Возможность организации резервных, удаленных СХД и удаленной системы бэкапа и восстановления данных.
• Возможность строить отказоустойчивые кластерные решения без дополнительных затрат на базе имеющейся SAN.

• Более высокая стоимость
• Сложность в настройке FC-систем
• Необходимость сертификации специалистов по FC-сетям (iSCSI является более простым протоколом)
• Более жесткие требования к совместимости и валидации компонентов.
• Появление в силу дороговизны DAS-«островов» в сетях на базе FC-протокола, когда на предприятиях появляются одиночные серверы с внутренним дисковым пространством, NAS-серверы или DAS-системы в силу нехватки бюджета.

Примеры моделей SAN

В настоящий момент имеется достаточно большой выбор дисковых массивов для построения SAN, начиная от моделей для малых и средних предприятий, такие как серия DELL AX, которые позволяют создавать хранилища емкостью до 60 Тбайт, и заканчивая дисковыми массивами для больших корпораций DELL/EMC серии CX4, они позволяют создать хранилища емкостью до 950 Тб. Есть недорогое решение на основе iSCSI, это PowerVault MD3000i – решение позволяет подключать до 16-32 серверов, в одно устройство можно установить до 15 дисков, и расширить систему двумя полками MD1000, создав массив на 45Тб.

Отдельного упоминания заслуживает система Dell EqualLogic на базе протокола iSCSI. Она позиционируется как СХД масштаба предприятия и сравнима по цене с системами Dell | EMC CX4, с модульной архитектурой портов, поддерживающих как FC протокол, так и iSCSI протокол. Система EqualLogic является одноранговой, т.е каждая дисковая полка имеет активные контроллеры RAID. При подключении этих массивов в единую систему, производительность дискового пула плавно растет с ростом доступного объема хранения данных. Система позволяет создать массивы более 500TB, настраивается менее, чем за час, и не требует специализированных знаний администраторов.

Модель лицензирования также отличается от остальных и уже включает в первоначальную стоимость все возможные опции моментальных копий, репликацию и средства интеграции в различные ОС и приложения. Эта система считается одной из наиболее быстрых систем в тестах для MS Exchange (ESRP).

Типы носителей информации и протокол взаимодействия с СХД

Определившись с типом СХД, который Вам наиболее подходит для решения тех или иных задач, необходимо перейти к выбору протокола взаимодействия с СХД и выбору накопителей, которые будут использоваться в системе хранения.

В настоящий момент для хранения данных в дисковых массивах используются SATA и SAS диски. Какие диски выбрать в хранилище зависит от конкретных задач. Стоит отметить несколько фактов.

SATA II диски:

• Доступны объемы одного диска до 1 ТБ
• Скорость вращения 5400-7200 RPM
• Скорость ввода/вывода до 2,4 Гбит/с
• Время наработки на отказ примерно в два раза меньше чем у SAS дисков.
• Менее надежные, чем SAS диски.
• Дешевле примерно в 1,5 раза, чем SAS-диски.

• Доступны объемы одного диска до 450 ГБ
• Скорость вращения 7200 (NearLine), 10000 и 15000 RPM
• Скорость ввода/вывода до 3,0 Гбит/с
• Время наработки на отказ в два раза больше чем у SATA II дисков.
• Более надежные диски.

Важно! В прошлом году начался промышленный выпуск SAS дисков с пониженной скоростью вращения – 7200 rpm (Near-line SAS Drive). Это позволило повысить объем хранимых данных на одном диске до 1 ТБ и снизить энергопторебление дисков со скоростным интерфейсом. При том, что стоимость таких дисков сравнима со стоимостью дисков SATA II, а надежность и скорость ввода/вывода осталась на уровне SAS дисков.

Таким образом, в настоящий момент стоит действительно серьезно задуматься над протоколами хранения данных, которые вы собираетесь использовать в рамках корпоративной СХД.

До недавнего времени основными протоколами взаимодействия с СХД являлись – FibreChannel и SCSI. Сейчас на смену SCSI, расширив его функционал, пришли протоколы iSCSI и SAS. Давайте ниже рассмотрим плюсы и минусы каждого из протоколов и соответствующих интерфейсов подключения к СХД.

Протокол Fibre Channel

На практике современный Fibre Channel (FC) имеет скорости 2 Гбит/Сек (Fibre Channel 2 Gb), 4 Гбит/Сек (Fibre Channel 4 Gb) full- duplex или 8 Гбит/Сек, то есть такая скорость обеспечивается одновременно в обе стороны. При таких скоростях расстояния подключения практически не ограничены – от стандартных 300 метров на самом «обычном» оборудовании до нескольких сотен или даже тысяч километров при использовании специализированного оборудования. Главный плюс протокола FC – возможность объединения многих устройств хранения и хостов (серверов) в единую сеть хранения данных (SAN). При этом не проблема распределенности устройств на больших расстояниях, возможность агрегирования каналов, возможность резервирования путей доступа, «горячего подключения» оборудования, большая помехозащищенность. Но с другой стороны мы имеем высокую стоимость, и высокую трудоемкость инсталляции и обслуживания дисковых массивов использующих FC.

Важно! Следует разделять два термина протокол Fibre Channel и оптоволоконный интерфейс Fiber Channel. Протокол Fibre Сhannel может работать на разных интерфейсах — и на оптоволоконном соединении с разной модуляцией, и на медных соединениях.

• Гибкая масштабируемость СХД;
• Позволяет создавать СХД на значительных расстояниях (но меньших, чем в случае iSCSI протокола; где, в теории, вся глобальная IP сеть может выступать носителем.
• Большие возможности резервирования.

• Высокая стоимость решения;
• Еще более высокая стоимость при организации FC-сети на сотни или тысячи километров
• Высокая трудоемкость при внедрении и обслуживании.

Важно! Помимо появления протокола FC8 Гб/c, ожидается появление протокола FCoE (Fibre Channel over Ethernet), который позволит использовать стандартные IP сети для организации обмена пакетами FC.

Протокол iSCSI

Протокол iSCSI (инкапсуляция SCSI пакетов в протокол IP) позволяет пользователям создать сети хранения данных на базе протокола IP с использованием Ethernet-инфраструктуры и портов RJ45. Таким образом, протокол iSCSI дает возможность обойти те ограничения, которыми характеризуются хранилища данных с непосредственным подключением, включая невозможность совместного использования ресурсов через серверы и невозможность расширения емкости без отключения приложений. Скорость передачи на данный момент ограничена 1 Гб/c (Gigabit Ethernet), но данная скорость является достаточной для большинства бизнес-приложений масштаба средних предприятий и это подтверждают многочисленные тесты. Интересно то, что важна не столько скорость передачи данных на одном канале, сколько алгоритмы работы RAID контроллеров и возможность агрегации массивов в единый пул, как в случае с DELL EqualLogic, когда используются по три 1Гб порта на каждом массиве, и идет балансировка нагрузки среди массивов одной группы.

Важно отметить, что сети SAN на базе протокола iSCSI обеспечивают те же преимущества, что и сети SAN с использованием протокола Fibre Channel, но при этом упрощаются процедуры развертывания и управления сетью, и значительно снижаются стоимостные затраты на данную СХД.

• Высокая доступность;
• Масштабируемость;
• Простота администрирования, так как используется технология Ethernet;
• Более низкая цена организации SAN на протоколе iSCSI, чем на FC.
• Простота интеграции в среды виртуализации

• Есть определенные ограничения по использованию СХД с протоколом iSCSI с некоторыми OLAP и OLTP приложениями, с системами Real Time и при работе с большим числом видеопотоков в HD формате
• Высокоуровневые СХД на базе iSCSI, также как и CХД c FC-протоколом, требуют использования быстрых, дорогостоящих Ethernet-коммутаторов
• Рекомендуется использование либо выделенных Ethernet коммутаторов, либо организация VLAN для разделения потоков данных. Дизайн сети является не менее важной частью проекта, чем при разработке FC-сетей.

Важно! В скором времени производители обещают выпустить в серийное производство SAN на базе протокола iSCSI с поддержкой скоростей передачи данных до 10 Гб/c. Также готовится финальная версия протокола DCE (Data Center Ethernet), массовое появление устройств, поддерживающих протокол DCE, ожидается к 2011 году.

C точки зрения используемых интерфейсов, протокол iSCSI задействует интерфейсы Ethernet 1Гбит/C, а ими могут быть как медные, так оптоволоконные интерфейсы при работе на больших расстояниях.

Протокол SAS

Протокол SAS и одноименный интерфейс разработаны для замены параллельного SCSI и позволяет достичь более высокой пропускной способности, чем SCSI. Хотя SAS использует последовательный интерфейс в отличие от параллельного интерфейса, используемого традиционным SCSI, для управления SAS-устройствами по-прежнему используются команды SCSI. SAS позволяет обеспечить физическое подключение между массивом данных и несколькими серверами на небольшие расстояния.

• Приемлемая цена;
• Легкость консолидации хранилищ – хотя СХД на базе SAS не может подключаться к такому количеству хостов (серверов), как SAN конфигурации которые используют протоколы FC или iSCSI, но при использовании протокола SAS не возникает трудностей с дополнительным оборудованием для организации общего хранилища для нескольких серверов.
• Протокол SAS позволяет обеспечить большую пропускную способность с помощью 4 канальных соединений внутри одного интерфейса. Каждый канал обеспечивает 3 Гб/c , что позволяет достичь скорости передачи данных 12 Гб/с (в настоящий момент это наивысшая скорость передачи данных для СХД).

• Ограниченность досягаемости – длинна кабеля не может превышать 8 метров. Тем самым хранилища с подключением по протоколу SAS, будут оптимальны только тогда когда серверы и массивы будут расположены в одной стойке или в одной серверной;
• Количество подключаемых хостов (серверов) как правило, ограничено несколькими узлами.

Важно! В 2009 году ожидается появление технологии SAS со скоростью передачи данных по одному каналу – 6 Гбит/c, что позволит значительно увеличить привлекательность использования данного протокола.

Сравнение протоколов подключения СХД

Ниже приведена сводная таблица сравнения возможностей различных протоколов взаимодействия с СХД.

Параметр	Протоколы подключения СХД
Архитектура	SCSI команды инкапсулируются в IP пакет и передаются через Ethernet, последовательная передача	Последовательная передача SCSI команд	Коммутируемая
Растояние между дисковым массивом и узлом (сервер или свитч)	Ограничено лишь расстоянием IP cетей.	Не более 8 метров между устройствами.	50.000 метров без использования специализрованных рипитеров
Масштабируемость	Миллионы устройств – при работе по протоколу IPv6.	32 устройства	256 устройств 16 миллионов устройств, если использовать FC-SW (fabric switches) архитектура
Производительность	1 Гб/с (планируется развитие до 10 Гб/с)	3 Гб/с при использовании 4х портов, до 12 Гб/с (в 2009 году до 6 Гб/с по одному порту)	До 8 Гб/с
Уровень вложений (затрат на внедрение)	Незначительный – используется Ethernet	Средний	Значительный

Таким образом, представленные решения на первый взгляд достаточно четко разделяются по соответствию требованиям заказчиков. Однако на практике все не так однозначно, включаются дополнительные факторы в виде ограничений по бюджетам, динамики развития организации (и динамики увеличения объема хранимой информации), отраслевая специфика и т.д.