В этой статье я опишу как развертывать NSX-T Manager, его особенности, требования и ограничения. Далее рассмотрим, как собрать Manager Cluster для отказоустойчивости наших NSX Manager-ов и познакомимся с интерфейсом панели управления. Поехали.
Установка NSX Manager
С установки первого экземпляра NSX Manager-а и начинается внедрение продукта NSX-T в инфраструктуре. Manager может быть развернут только в виде виртуальной машины, причем как на ESXi хосте, так и на KVM. Мы помним, что NSX-T кроссплатформенный, однако забегая вперед следует знать, что не все компоненты и функции NSX-T поддерживаются на KVM. В этом топике мы рассмотрим установку manager-а только на ESXi, потому как это наиболее распространенный вариант, да и KVM-а у меня под рукой нету. Конечно для того что бы установить, сначала нужно скачать. Если у нас есть лицензия, то нет проблем, а если мы хотим протестировать продукт в песочнице или просто ознакомиться с ним, то на помощь придет Evaluation лицензия на 60 дней. Все что нужно – это зарегистрироваться на портале VMware и начать Trial. В нем нам доступен весь функционал NSX-T, но мы ограничены временем. Итак, идем сюда — тык и скачиваем VMware NSX-T Data Center 3.1.1. Имейте ввиду что на момент написания статьи эта версия актуальна, в вашем случае может быть уже нет. Нам загружается шаблон VM в формате OVA.
Теперь о размерах развертывания, их несколько.
| Форм Фактор | Кол-во vCPU | Память GB | HDD GB | Ограничения |
| Extra Small | 2 | 8 | 300 | Только для Cloud Service Manager |
| Small | 4 | 16 | 300 | Для лаб |
| Medium | 6 | 24 | 300 | До 64 гипервизоров |
| Large | 12 | 48 | 300 | Более 64 гипервизоров |
Далее идет совсем нехитрая процедура деплоя нашего шаблона в vSphere, повторюсь, развернуть NSX Manager можно и на KVM, для этого на странице загрузки нужно выбрать другой формат. Да, стоить не забывать, что перед развертыванием нужно внести запись DNS.
По классике мы задаем кластер, хост, сеть и хранилище нашему будущему Manager-y. Так же потребуется сконфигурировать специфические настройки.
В первой секции мы заполняем логины и пароли для административных учетных записей в том числе и для root и admin, который и будет являться учетной записью по умолчанию для администрирования NSX. Дальше у нас следует Network Properties – настройки сети для аплайнса. Тут все просто – IP, mask, gateway, hostname. Но есть кое-что, это выбор роли развертываемого.
Мы останавливаемся на NSX Manager, nsx-cloud-service-manager потребуется если мы разворачиваем NSX-T в подходящем для этого публичном облаке, а NSX Global Manager – для создания NSX-T Federation, но эти два пункта за пределами наших статей. Дальше у нас идут настройки DNS, NTP и последняя графа Internal Properties, ее не трогаем. Переходим к Ready to complete и жмем Finish. Начинается процесс развертывания нашего NSX Manager, он будет продолжительным, потому что OVA немаленького размера, а мы пока можем пойти за кофе.
После окончания процесса, NSX Manager доступен в браузере, и мы можем залогинимся под учеткой admin.
Развертывание NSX Manager Cluster
Что ж NSX Manager мы развернули теперь рассмотрим, как организовать ему отказоустойчивость. Как было написано в предыдущем посте, отказоустойчивость NSX Manager-а обеспечивается кластером. Кластер может состоять из максимум трех участников, это такие же NSX Manager-ы разнесенные по разным гипервизорам для исключения потери функционала в связи с падением одного физического хоста. Развертывание трехнодового кластера настоятельно рекомендуется для Production инфраструктуры, если у вас лаба или тестовая инфраструктура, то кластер можно и не создавать. Размещать ноды NSX Manager Cluster-а можно как в одном vSphere кластере, естественно настроив anty-affinity правила DRS, так и на одиночные хосты, главное что б на разные.
Кластер состоит из максимум трех нод, у каждой из которых свой IP и hostname. Задержка между нодами не должна превышать 10 миллисекунд. Рекомендуется использовать IP адреса для нод из одной подсети, а в случае использования виртуального IP кластера (о нем ниже) — это необходимо. На каждой ноде активны Policy, Management и Control Plan-ы, а также расположена синхронизирующаяся с соседями База Данных. Как писалось в предыдущем посте — Control Plane на каждой ноде имеет свой набор Транспортных Нод, которые он обслуживает, то есть в пределах кластера CP работает распределенно, то же самое касается и остальных – PP, MP.
Теперь про Виртуальный IP кластера (VIP). Это адрес, который назначается кластеру и на него отвечает активная нода, затем она перенаправляет запросы соответствующим модулям на других нодах. Если активный NSX Manager по какой-то причине становиться недоступен, активной становиться другая нода и работа продолжается. Использование VIP допускается если все участники кластера расположены в одной подсети.
Как показано на картинке, VIP можно назначить на сетевой балансироващик и спрятать NSX Manager-ы за него. Для этого может быть использован сторонний балансировщик, но не NSX, например, NetScaler. Конфигурация с балансировщиком добавляет несколько плюшек в дизайн:
- NSX Manager-ы могут находиться в разных подсетях (без балансировщика только в одной подсети)
- Сетевая нагрузка распределяется равномерно по всем NSX manager-ам (без балансировщика, нагрузка ложиться на одну активную ноду)
- Более быстрое восстановление доступности служб Manager-а после сбоя для пользователя (без балансировщика восстановление доступности занимает 1-3 минуты)
При использовании балансировщика, VIP настраивается на нем, в NSX Manager-е виртуальный IP адрес не прописывается.
Перейдем к развертыванию самого кластера. Заходим на наш первый и пока что единственный NSX Manager, переходим во вкладку System, выбираем Appliances и нажимаем Add NSX Appliance.
Откроется окно для настройки сетевой конфигурации и выбора размера будущего члена кластера.
Затем выбираем куда мы поместим второй NSX Manager, то есть ресурсы для него.
Ну и учетные данные пользователя root.
Административная учетная запись admin наследуется с первого NSX Manager-а и тут соответственно про нее ничего у нас не спрашивают. Далее нажимаем Install Appliance и идем за кофе.
Через некоторое время второй NSX Manager успешно развернут, а мы напились кофе.
Мы можем залогиниться на него с той же самой учеткой admin. Для администратора не будет никакой разницы с какой ноды производить управление, все объекты NSX-T будут консистентны в пределах двух Manager-ов. Таким же способом можем развернуть и третий NSX manager.
Круто, теперь черед для VIP. Настроить его можно в том же самом разделе. В его настройке нет ничего особенного, просто прописываем его в соответствующем окне.
Имейте ввиду, что NSX Manager-ы должны быть в одной подсети для использования VIP, только использование стороннего балансировщика даст нам возможность поместить ноды в разные подсети.
Задаем наш VIP, ждем какое-то время и вуаля.
Настроен VIP, и он назначен одной из нод, в нашем случае это нода, которую разворачивали первой. Теперь для проверки подключимся к VIP из браузера и нам ответит активная нода. Для удобства можно настроить в DNS A запись для VIP, к примеру, nsx-mngr-vip, в то время пока на нодах настроены nsx-mngr-01,nsx-mngr-02 и так далее. Стоит отметить что после настройки виртуального IP вы так же можете продолжать подключаться к каждому NSX Manager-у в кластере по отдельности.
На этом все, в итоге мы имеем рабочий NSX Manager Cluster с общим IP адресом и отказоустойчивостью.
ЗЫ:
- Что бы удалить или изменить VIP, залогиньтесь на любой NSX Manager в кластере, используя его персональный адрес и произведите операцию на нем. Редактирование виртуального IP недоступно, если вы зашли на NSX Manager Cluster используя VIP.
- Если вы потеряете два NSX Manager-а из трех в кластере, то до их восстановления вы не сможете делать изменения топологии NSX а также vMotion машин, зависящих от NSX будет неуспешным, так как процесс Control Plane распределен по всем трем нодам, большая часть из которых будет недоступной.
Знакомство с Inventory
Мы закончили с развертыванием NSX Manager-а, теперь настало время немного расслабиться и ознакомиться с интерфейсом управления NSX-T. Интерфейс покажется очень «насыщенным» по сравнению с NSX-V и сложным. Но стоит попользоваться им некоторое время, и он становиться настолько удобным и знакомым, что начинаешь мысленно хвалить UX-дизайнеров VMware. Итак, после логина в NSX мы видим это:
Куча всевозможных кнопочек и объектов. Но для начала нам нужно выделить для себя шесть верхних вкладок:
- Home
- Networking
- Security
- Inventory
- Plan & Troubleshoot
- System
Каждый из них является точкой управления с интуитивно понятным смыслом. Опишем вкратце каждый из них.
System
На этапе внедрения и развертывания NSX-T в этой секции мы будем проводить больше всего времени. Тут управляем пользователями, их привилегиями, резервным копированием, лицензиями, апгрейдами, дополнительными NSX Manager-ами (которые в кластере) и что самое интересное и важное нашей фабрикой (Fabric).
Fabric – это раздел, где мы управляем добавлением и настройкой наших Транспортных Нод и созданием Транспортных Зон. То есть строим нашу инфраструктуру NSX с «физической» перспективы. Но это все впереди.
Networking
Как видно из названия этот раздел про сети. Тут у нас настраивается и администрируется все так сажем «логическое» — L2 сегменты, T1 и T0 роутеры, всяческие VPN, NAT и балансировщики, в общем виртуальная сеть конфигурируется здесь.
Security
Да, вы уже поняли про что это. Данный раздел ответственен за все что про безопасность в NSX-T.
Тут, как и во всем интерфейсе много всего, но стоит выделить две секции:
- East West Security
- North South Security
Эти два термина — East West и North South определяют направление сетевого трафика в виртуальной сети. East West – трафик внутри NSX сети, у которого источник и назначение расположены в виртуальной сети, этот трафик не выходит в реальный мир. North South – трафик, уходящий за пределы NSX или приходящий из вне, соответственно он проходит через Edge Nodes. Об этих понятиях стоило упомянуть раньше, но на ходу все запоминается лучше.
Так вот эти две секции в разделе Security соответствуют настройкам файрволлов, которые обрабатывают эти два типа траффика. Это распределенный файрволл и пограничный. Но о них в дальнейших статьях.
Inventory
Тут мы создаем различные административные объекты, например, собираем VM в группы, чтобы потом назначать на эти группы различные политики и правила брандмауэра, создаем профили сервисов, что бы NSX мог их различать в трафике, например, трафик FTP. И так далее.
Plan & Troubleshoot
Тут разместились превосходные инструменты для анализа и траблшутинга нашей виртуальной сети. Port Mirroring, TraceFlow и так далее. Особое внимание хочу уделить TraceFlow. Это инструмент, который может продиагностировать сетевую доступность между некоторыми объектами в нашей виртуальной сети NSX.
Home
При логине мы попадаем сюда. Это Summary нашего NSX-T. Тут мы видим общие сведения сколько и чего у нас есть в инфраструктуре, панель мониторинга и алармы. Присутствует очень удобная строка поиска по объектам NSX. В принципе все.
Стоит так же упомянуть про профиль отображения – policy/manager. В предыдущем посте я упоминал его. Как говорилось ранее, у нас есть Policy и Management Plane. Policy Plane оперирует более понятными пользователю объектами, например сегменты (L2 домены), ротуеры. В то время как Management Plane смотрит на эти вещи как на более технические в контексте NSX – Logical Switch (тот же L2 домен), Logical Router и так далее. Наш интерфейс поддерживает оба представления. По умолчанию нам доступен только policy mode, он более простой в понимании для администратора и содержит в некоторых секциях больше функций. Но мы можем переключиться на manager mode. Для этого нужно зайти в System> User Interface Settings> Edit и настроить возможность переключения профиля отображения для всех пользователей или только для тех, у кого роль Enterprise Admin. Там же можно задать режим отображения по умолчанию. После этого у нас под панелью пользователя появиться переключатель режима отображения.
Переключение работает в пределах секции, в которой вы работаете, например, в Network. После того как возможность переключения policy/manager доступна, каждая секция в зависимости от выбранного режима может предстать перед пользователем в несколько ином свете. Для меня больше удобен режим policy, он более понятно представляет некоторые объекты. Перечислять разницу этих режимов вне темы этого топика, нужно сказать только что некоторые вещи мы можем сконфигурировать только из одно режима.
Итог
Мы развернули NSX Manager, настроили NSX Manager Cluster для отказоустойчивости и назначили ему виртуальный IP. На этом все.