Меню

brocade fibre channel настройка

Brocade SAN Часть 1: Введение, теория Fiber Channel, аппаратная часть

Прежде чем говорить об аппаратном обеспечении и SAN, нужно всё-таки начать с того, что из себя SAN представляет в принципе, откуда он появился и почему.

Когда то давно, на заре компьютерной эры, внешние устройства хранения обычно подключались напрямую к серверам (DAS — Direct-attached storage), используя SCSI, но из-за крайне стремительного роста требования к системам хранения данный подход стал слишком неэффективным. Для изменения конфигурации хранилища, подключенного по технологии DAS требовало физического отключения сервера, построение отказоустойчивых систем то же было затруднительно ввиду необходимости иметь физическое подключение всех серверов ко всем устройствам хранения, а жёсткие ограничения по максимальному расстоянию между устройствами делали подобные расширения порой слишком сложными, да и производительность SCSI оставляла желать лучшего. Изменение подхода к подключению внешних хранилищ позволило получить следующие преимущества:

  • Изменение конфигураций хранилищ не затрагивает работу серверов и сервисов
  • Расстояние между устройствами позволило строить катастрофоустойчивые хранилища, расположенные на удалённых площадках
  • Любой сервер может получить доступ к любому устройству хранения в SAN сети

Обычно говоря SAN подразумевают сети на безе протокола Fibre Channel, но стоит отметить что протокол iSCSI позволяет строить аналогичные по своим характеристикам сети, основанные на IP сетях. Изначально, переход от SCSI к Fiber Channel был обусловлен желанием увеличить расстояние подключения, а не пропускную способность. Первая версия протокола, появившаяся в 1997 году, предоставляла скорость в 1Gb/s. Каждая новая версия прокола, постоянно «удваивает» скорость предыдущего поколения. На данный момент, актуальным является 6 поколение протокола, работающего на скорости 32/128Gb/s.

Brocade 6505

Fibre channel, как сетевой протокол, состоит из нескольких уровней:
FC-0 Физический: в котором описывается среда передачи данных, характеристики кабелей, трансиверов, HBA. Физические и электрические характеристики, скорость передачи данных.
FC-1 Кодирование: описывает как данные будут кодироваться/декодироваться (8/10 или 64/66) для передачи
FC-2 Кадрирование и сигнализация: определяет структуру передаваемой информации, занимается контролем целостности данных и управляет непосредственно передачей данных. На этом уровне происходит разбиение потока данных на кадры и сборка кадров. Определяет правила передачи данных между двумя портами, классы обслуживания.
FC-3 Общий для узла служб: заложен для нового функционала, который может быть реализован в протоколе, но на данный момент этот уровень не используется
FC-4 Отображения протоколов: описывает протоколы, которые для своей работы могут использоваться FC: проброс SCSI (SCSI-FCP) или TCP/IP (FC-LE)

Так же как и в сетевом протоколе, любое устройство в SAN сети имеет собственный уникальный 64-разряднй идентификатор — WWN, задаваемый производителем (аналогия с MAC-адресом сетевого устройства), так же каждое устройство получает 24-х битный адрес в сети, который дается при подключении устройства. Основой SAN сети является Фабрика — совокупность всех подключенных к сети устройств. Стоит отметить, что фабрика сама по себе является единой точкой отказа, по этому в SAN сетях нормальной практикой является построение нескольких параллельных фабрик (обычно двух), которые являются зеркальным отражением друг друга. Это позволяет строить отказоустойчивые решения. Хотя порой фабрики могут и отличаться (к примеру, дублируется подключение только критически важных систем) — всё зависит от возлагаемых на них задач.

Основой передачи данных в FC сетях является кадр. Кадр содержит в себе не только данные, но и заголовок, которые описывает служебную информацию из разряда — «откуда-куда», а так же разделите, указывающие на качало и конец фрейма.

Формат фрейма Fibre Channel

Start of Frame — 4 байта — идентификатор начала фрейма.
Header — 24 байта — заголовок. Содержит такую информацию как адрес источника и приёмника, тип фрейма, номер последовательности и порядковый номер фрейма в ней и прочая служебно-контрольная информация.
Data — 0-2112 байт — непосредственно данные.
CRC — 4 байта — контрольная сумма.
End of Frame — 4 байта — идентификатор конца фрейма.

Последовательность представляет собой набор кадров, которые передаются из одной точки в другую. Для исправления возможных ошибок каждый кадр содержит уникальный счетчик последовательности. Исправление ошибок осуществляется протоколом более высокого уровня, обычно на уровне FC-4. Несколько последовательностей составляют обмен (exchange). Обмены представляют собой последовательности двусторонних направлений; т.е. в обмен входят последовательности данных, передающихся в разных направлениях, хотя каждая последовательность передается только в одном направлении. При каждом обмене только одна последовательность может быть активна в текущий момент времени. Но, так как одновременно могут быть активны несколько обменов, различные последовательности из этих обменов также могут быть активны одновременно. Каждый обмен выполняет одну функцию, например реализует команду SCSI Read.

Читайте также:  samsung вернут к стандартным настройкам

Brocade DCX 8510-4 Backbone

Типы портов:
Порты узлов:
N_Port (Node port), порт устройства с поддержкой топологии FC-P2P («Точка-Точка») или FC-SW (с коммутатором).
NL_Port (Node Loop port), порт устройства с поддержкой топологии FC-AL (arbitrated loop — управляемая петля).

Порты коммутатора/маршрутизатора (только для топологии FC-SW):
F_Port (Fabric port), порт «фабрики» (switched fabric — коммутируемая связная архитектура). Используется для подключения портов типа N_Port к коммутатору. Не поддерживает топологию петли.
FL_Port (Fabric Loop port), порт «фабрики» с поддержкой петли. Используется для подключения портов типа NL_Port к коммутатору.
E_Port (Expansion port), порт расширения. Используется для соединения коммутаторов. Может быть соединён только с портом типа E_Port.
EX_port порт для соединения FC-маршрутизатора и FC-коммутатора. Со стороны коммутатора он выглядит как обычный E_port, а со стороны маршрутизатора это EX_port.
TE_port (Trunking Expansion port (E_port)) внесен в Fibre Channel компанией CISCO, сейчас принят как стандарт. Это расширенный ISL или EISL. TE_port предоставляет, помимо стандартных возможностей E_port, маршрутизацию множественных VSANs (Virtual SANs). Это реализовано применением нестандартного кадра Fibre Channel (vsan-тегирование).

Общий случай:
U_Port (Universal port), порт, который ещё не определился в каком режиме он работает. Обычно после инициализации становится F_Port или E_Port.
L_Port (Loop port), любой порт устройства с поддержкой топологии «Петля» — NL_port или FL_port.
G_port (Generic port), порт с автоопределением. Автоматически может определяться как порт типа E_Port, N_Port, NL_Port.

SAN состоит из:

  • Узлы, ноды
    • Дисковые массивы (системы хранения данных)
    • Серверы
    • Ленточные библиотеки
  • Сетевая инфраструктура
    • Коммутаторы (и маршрутизаторы в сложных и распределённых системах)
    • Директоры — многопортовые модульные коммутаторы с высокой степенью доступности.
    • Выделенные коммутаторы (standalone switches) — коммутаторы с фиксированным количеством портов.
    • Стэкируемые коммутаторы (stackable switches) — коммутаторы, имеющие дополнительные высокопроизводительные порты для связи независимых шасси между собой.
    • Встраиваемые коммутаторы (embedded switches) — коммутаторы, встраиваемые в блейд-корзину, где есть разделение портов на функции (порты, предназначенные для подключения blade-серверов, не могут быть использованы для межкоммутаторных соединений).

Сердцем оборудование для SAN сетей является ASIC (application specific integrated circuit) — специализированная схема, разработанная компанией Brocade для возможности реализации большей части функционала оборудования на аппаратном уровне, что в итоге приводит к более высокой производительности и надёжности. Именно использование ASIC позволяет удерживать столь низкие задержки в SAN-сетях.
Brocade ASIC

Он обеспечивает плавный переход между FC-0 и FC-1, занимаясь:

  • Encoder / Decoder — обеспечивает кодирование каждых 8 бит передаваемых данных в 10-битное представление. И декодирование обратно принимаемых данных.
  • SERDES (Serializer / Deserializer) — преобразует параллельный поток 10-битных порций данных в последовательный поток 10-битных порций данных.
  • Transceiver — преобразует электрические импульсы в световые сигналы.

ASIC обслуживает сами порты, при этом — ОС коммутатора работает на отдельных чипах, по этому при обновлении прошивки коммутатора у вас нет недоступности. На момент перезагрузки ОС — ASIC продолжает обслуживать текущие соединения, но блокирует установление новых. Подробнее об этом мы поговорим 6 части материала.

И раз уж на картинке выше у нас есть SFP:
SFP — это отдельные модули, необходимые для подключения кабеля к порту, но о них подробнее, о их типах и различиях я буду говорить в следующих материалах.

Я очень надеюсь что всё что я смог выжать из себя сегодня — удобоваримо и понятно для читателя. Ведь без основ двигаться дальше очень сложно, с точки зрения понимания процессов работы системы. Лично для меня — теория всегда была самой сложной частью. Не все вещи можно просто понять, как «трава зелёная», некоторые вещи нужно просто принять и запомнить как они работают.

Добавить комментарий Отменить ответ

Для отправки комментария вам необходимо авторизоваться.

источник

Помощь в настройке СХД на пару с Blade-сервером

Товарищи, нужна Ваша помощь в настройке серверного оборудования, а именно подключение системы хранения данных к Blade-серверу. Сразу скажу — за последний месяц прочитано уже бесчисленное множество различных ресурсов, поэтому прошу помощи в «реальном времени».

Читайте также:  настройки для korg ax3g

К сожалению, ранее с подобным я не сталкивался, а задача ввода оборудования в работу поставлена. И возникает ку-у-уча вопросов.

На работе приобрели новую железку — систему хранения данных Fujitsu DX100 S4. Включает в себя 2 набора дисков — SSD и SAS, быстрый массив и медленный массив, соответственно. СХД имеет 8 Fiber Channel портов — по 4 на каждом из двух контроллеров (далее CM#X), разделенные на 2 группы (далее CA#X) по 2 порта (далее Port#X).

Приобреталось все это взамен неисправной СХД, которая давным давно выведена из работы по причине умерших дисков.
Работать новая СХД должна была в паре с Blade-сервером HP C3000, с тремя лезвиями на борту. На каждое установлен ESXI и на всем этом поднят кластер VMWare.

В данный сервер установлен SAN-свитч Brocade 8/12c, с четырьмя лицензированными портами Fiber Channel.

1. SAN-свитч: Подключен двумя FC портами к двум контроллерам СХД (CM#0 и CM#1).

Зонирование выполнено следующим образом:

Первому HBA первого лезвия задан в соответствие первый порт СХД.

Первому HBA первого лезвия задан в соответствие второй порт СХД.

Второму HBA первого лезвия задан в соответствие первый порт СХД.

Второму HBA третьего лезвия задан в соответствие второй порт СХД.

Итого 12 зон. Соответствие задано по WWN. Всё собрано в единый конфиг на SAN-свитче.

Здесь возникает первый (1) вопрос — действительно ли стоит делать зонирование по WWN или нужно делать жестко по портам?

а.) Имеет 2 раздела (SSD-volume и SAS-volume):

SSD собраны в RAID5, имеют размер 6.10 Тб.

SAS собраны в RAID10, имеют размер 8.00 Тб.

б.) Разделы собраны в группу из двух LUN и презентованы серверу следующим образом:

1. Host Group — названия групп портов HBA из столбца Host, соответствующих каждому из лезвий.

2. Host — HBA адаптеры каждого из лезвий.

3. CA Port Group — названия групп портов контроллеров СХД из вкладки CA Port.

4. CA Port — порты СХД, которые подключены к серверу, где CM#X — контроллер, CA#X — группа портов на контроллере, Port#X — порт каждой из групп.
5. LUN Group — группа из LUN, которые необходимо презентовать Blade-серверу.

6. Host Response — режим работы хоста, работающий в режиме Active/Active (настройка проведена руками).

Здесь возникает второй (2) вопрос — корректно ли выполнять презентацию по отдельным лезвиям? Или можно было собрать всё в одну кучу?

Выглядит это следующим образом:

Каждый vmhba видит оба LUN в двойном количестве (. 3e:20 и . 3e:30 — WWN адреса портов СХД). Установлен режим путей Round-Robin для каждого из LUN.

Возникает третий (3) вопрос — а правильно ли выполнена настройка VMWare?

И вот здесь мы приходим к следующему.

Ранее, в VMWare был выбран режим «Fixed«. Какие пути были выбраны — данная информация, к сожалению, не сохранилась. Все работало корректно пару дней с парой легких виртуальных машин на борту (1 — Ubuntu, 2 — Windows 7). Вечером третьего дня запустил на СХД миграцию ВМ с Windows Server 2008 R2. Более никаких изменений в конфигурацию не вносилось.

На следующий день посыпались жалобы на то, что всё работающее на СХД тормозит.

При использовании утилиты esxtop с параметром ‘d’ (подключаясь по SSH на одно из лезвий), появлялись огромные значения DAVG, KAVG, GAVG и QAVG:

Режим был изменен на Round-Robin. Часть путей была отключена. Худо-бедно и спешке виртуальные машины были размигрированы с СХД.

В данный момент СХД как-то работает, но как — непонятно.

После уже месячных попыток настройки и чтения мануалов уже нет точного представления как всё это должно работать.

Хотелось бы получить советы, каким образом нужно подойти к организации системы хранения данных вместе с Blade-сервером имея только один SAN-свитч.

Признателен любой помощи в выборе правильно подхода! Спасибо!

Найдены возможные дубликаты

Мне кажется, ты сюда полез не с проблемой, а похвастать дорогими железяками и умными словами.

Читайте также:  изменить настройки роутера dir 320

У тебя узкоспециализированная ИТ задача, а ты ищешь помощи на ресурсе со смехуечками и пиздохаханьками.

Тоже плюс, но хвастаться нечем, к сожалению 🙁

Автор, ты конечно молодец и я верю что ты хороший специалист в своём деле, но если быть прямолинейным, что у тебя неправильно сделаны вообще все технические моменты от начала и до конца. Только уровни RAID спорные, т.к. завясит от приклада. Всё остальное объективно плохо видимо из-за отсутствия понимания базывых принципов работы MPIO, того как работает FC фабрика и как обрабатывают IO такие массивы начального уровня.

Вообще начать было бы правильным с беглого просмотре host connectivity user guide на эту модель массива для понимания того как его зонировать, как настраивать mpio на хостах и пр. Я честно говоря с этой моделью не знаком и врядли когда увижу, т.к. у другого вендора работаю. Но уверен это всё очень легко найти и я могу с этим помочь. Но в любом случай такой богомерзкий зонинг точно надо исправлять.

Честно говоря не все детали поста просмотрел, но ошибки очень начального уровня, поэтому уверен твой вопрос решается очень легко и быстро. Если хочешь полный перечень ошибок с указанием как надо, то оставь пожалуйста какой-нибудь контакт (можно в личку) — например почту. Я попозже сегодня могу отправить.

Для этого массива фуджики рекомендуют Round Robin. Тут всё как бы правильно. Но ты блин на скриншоте сам показываешь всю суть твоей проблемы. У тебя latenсy до девайса (DAVG) только по одному из четырёх путей улетело в космос. Это блин как бы весьма толстый намек тебе, чтоб ты проверил две вещи:

1. СФПиху со стороны массива по пути от vmhba1

2. Патч корд который соединяет эту СФП с портом коммутатора.

Если ты выдернешь этот кабель или отключишь этот порт на коммутаторе (portdisable #) то произойдет чудо и все лаги пройдут с вероятностью 99.999%.

P.S. не слушай людей которые несут какую-то лютую дичь про какой-то только им известный «мультиFC, который любой вид мульти» (с). Не ту площадку ты выбрал. Здесь тебе не помогут. Уходи отсюда 🙂

Ты правильно сделал CA Group, но не понял самое очевидное — для чего нужны хост группы, хотя вроде даже из названия ясно.

Хост группы нужны чтобы объединять однотипные хосты. В твоем случае это три лезвия. Ты же зачем-то сделал их три вместо одной. Тебе нужна одна группа в которой будут три ESXi.

А отдельный Host ты заводишь не для каждого порта ESXi, а для всех портов одного ESXi

Вообщем, контакта не дождался отвечу на твои вопросы тогда здесь. Постараюсь максимально кратко, хотя понимаю что это невозможно.

1.Выполнять только по WWPN и никак иначе. По портам имеет смысл только для FICON, других исключений нет. Т.к. мейнфреймами у тебя не пахнет, то только по WWPN.

2. Зонирование либо как у всех здоровых людей (один инициатор — несколько портов одного таргера). Либо как по инерции десятилетиями пишут во всех умных гайдах (один порт инициатора — один порт таргета). Мешать в одну зону несколько хостов или разные таргеты нельзя.

3. Первый порт HBA через фабрику A зонируется с двумя портами #0 обоих контроллеров. Второй порт HBA через фабрику B зонируется с портами #1 обоих контроллеров.

4. Т.к. серверов у тебя 3, то два сервера ты зонируешь как написано в п.3, а один также идеологически, но используя порты #2 и #3 СХД. Это для балансировки инициаторов на портах СХД.

5. На портах коммутатора, к которым подключена СХД выставляешь фиксированную скорость. В твоем случае это 8G. Потому что AN на портах ISL, СХД, всяких ленточек — это зло.

6. Так как коммутатор 8G, то проверяй FillWord. Здесь почитай: https://www.ivsmir.ru/2015/09/fc-switch-er_bad_os/

7. Сбрось счетчики ошибок на всех портах # portstatsclear. Дай нагрузку на СХД тестовую любую и покажи вывод portstatsshow

источник

Добавить комментарий

Adblock
detector