VMware ESXi

Основная информация

Оборудование

• VMware vSphere Hypervisor 5.x и 6.0 (ESXi) использует файловую систему с именем vmfs5 (ранее vmfs3), которая использует GPT и поддерживает диски размером до 64 ТиБ (ранее 2 ТиБ).
• Программный RAID не поддерживается ESXi.
• Бесплатная версия ESXi, начиная с 5.5, поддерживает до 4 ТБ ОЗУ (ранее — 32 ГБ).

Конфигурация сети

• VMware vSphere Hypervisor — это операционная система, разработанная для чистой виртуализации и не поддерживающая ни NAT, ни маршрутизацию. Следовательно, можно использовать только настоящую мостовую установку.
• Для использования подсети необходимо настроить дополнительный IP-адрес в качестве виртуальной машины маршрутизатора.

Установка

• Установка и настройка ESXi занимает около 20-30 минут, даже без каких-либо предварительных знаний. Пожалуйста, ознакомьтесь с  Руководством  по установке для получения дополнительной информации об установке ESXi.

Лицензия

• После установки у системы есть тестовая лицензия, срок действия которой истекает через 60 дней. Для длительного использования ОС требуется отдельная (бесплатная) лицензия. Это можно запросить, зарегистрировавшись на сайте VMware:
  • Лицензия для  ESXi 5.x
  • Лицензия для  ESXi 6.0
• Лицензию можно ввести через vSphere Client, на вкладке Configuration , в разделе Software, а затем в пункте меню Licensed functions . После выбора вы можете нажать кнопку « Изменить» справа и ввести лицензионный ключ.

Информация о компании Hetzner

Установленное оборудование

Модели Dell PowerEdge DX150, DX151, DX290, DX291 и DX141 сертифицированы и совместимы со всеми версиями, начиная с 5.0. DX152 и DX292 совместимы, начиная с 6.5.

Все остальные модели не сертифицированы VMware, но в большинстве случаев они могут работать с VMware vSphere / ESXi.

Совместимость

(Вся информация может быть изменена)

Модель	Версия vSphere / ESXi
AX50-SSD / AX60-SSD	с 6.5a требуется дополнительная сетевая карта Intel
AX41 / AX51	из 6.7 Обновление 2 (возможно, потребуется дополнительная сетевая карта)
AX61-NVMe	из 6.7 Обновление 2
AX100	с 6,7
AX160	из 6.5 Обновление 2 / 6.7
AX161	из 6.7 Обновление 2
PX92	с 6.5
PX91 / PX121	из 5.5 Обновление 1
PX90 / PX120	от 5.1
PX61	из 6.0 Обновление 2
PX62	из 6.5 Обновление 2 / 6.7 Обновление 1
PX60 / PX70	из 5.5 Обновление 1
EX61	с 6.5
EX52 / EX62	из 6.5 Обновление 2 / 6.7 Обновление 1
EX41 / EX41S / EX51 / EX42	из 5.5 Update 3 / 6.0 Update 2 (возможно, потребуется дополнительная сетевая карта)
EX40 / EX60	5.0 — 5.1 Обновление 2, так как требуется 5.5 дополнительных сетевых карт
EX6 / EX6S / EX8 / EX8S	от 5.0
EX4 / EX4S / EX10	от 5.0 (с дополнительной сетевой картой)
EQ4 / EQ6 / EQ8 / EQ9	5.0 — 5.1 Обновление 2, так как требуется 5.5 дополнительных сетевых карт

ЗАМЕТКИ:

• Упомянутые выше модели должны работать с соответствующей версией. Однако более новые версии не обязательно совместимы. Чтобы убедиться, пожалуйста, соберите свою информацию.
• Драйвер Realtek, присутствующий в ESXi 5.0–5.1 Update 2, был просто технической демонстрацией, которая не обновлялась. Поэтому для бесперебойной работы рекомендуется сервер с сетевой картой Intel (PX60, PX91, DX151 и т. Д.).
• Для установки vSphere 5.5 или новее на EX40, EX60 и некоторых моделях EX41 / EX51 требуется настраиваемый установочный ISO-образ, который включает драйверы для Realtek NIC ( http://www.bussink.ch/?p=1228 ). В качестве альтернативы можно установить дополнительную совместимую сетевую карту. Стоимость дополнительной совместимой сетевой карты см. Здесь:  Оборудование корневого сервера.
• Установка ESXi на старых DS или серверах X является  не  возможным.
• При установке на сервер с несколькими идентичными дисками ESXi потенциально может отображать диски в другом порядке, чем это делает BIOS. Если после завершения установки и перезапуска на экране остается пустой и только мигающий курсор, попробуйте загрузиться с другого диска.

конфигурация сети

• Для связи между несколькими серверами ESXi в одной подсети необходимы маршруты хоста через шлюз из-за ограничений сетевой безопасности.

host A
esxcfg-route -a <IP Host B> 255.255.255.255 <Gateway IP>

host B
esxcfg-route -a <IP Host A> 255.255.255.255 <Gateway IP>

Единые IP-адреса

• IP-адреса по умолчанию статически сопоставляются с MAC-адресом хоста. Однако можно получить отдельные MAC-адреса для дополнительных одиночных IP-адресов через Robot. Затем их можно настроить для виртуальных машин. Чтобы назначить эти MAC-адреса, войдите в Robot, выберите «Сервер» в меню слева, выберите желаемый сервер и затем щелкните вкладку «IP-адреса». Здесь вы можете щелкнуть значок рядом с отдельным IP-адресом, чтобы получить MAC-адрес.

Подсети

• Чтобы использовать подсеть (IPv4, а также IPv6) в ESXi, требуется как минимум один дополнительный IP-адрес в качестве виртуальной машины маршрутизатора, поскольку сам ESXi не может маршрутизировать. При заказе подсети обязательно обратите внимание на то, что она требуется для ESXi и должна маршрутизироваться на дополнительный одиночный IP-адрес.

ВАЖНО  Поскольку подсети IPv6 маршрутизируются на локальные адреса канала (на основе MAC), IPv6 можно использовать только ограниченным образом (т. Е. В одной виртуальной машине).

IPv4

Письмо с подтверждением подсети содержит (например) следующую информацию:

Below you will find the IP subnet added to your server 192.168.13.156.

Subnet: 192.168.182.16 /28
Mask: 255.255.255.240
Broadcast: 192.168.182.31

Usable IP addresses:
192.168.182.17 to 192.168.182.30

Вы НЕ получаете отдельный MAC-адрес для каждого IP-адреса из подсети.

IPv6

Все серверы имеют подсеть IPv6 / 64. Чтобы узнать, какая подсеть IPv6 есть у вашего сервера, проверьте вкладку IP-адресов сервера в  Robot .

Если вы заказали сервер до февраля 2013 г., эту подсеть можно заказать (бесплатно) через  Robot,  и она будет автоматически активирована.

Подсеть IPv6 направляется на локальный адрес канала по умолчанию (полученный из MAC-адреса) основного IP. С помощью  робота  маршрутизация подсети IPv6 может быть переключена на локальный адрес канала виртуального MAC (другими словами, на дополнительный одиночный IP-адрес). Это можно сделать в  Robot , используя тот же символ, который находится рядом с дополнительными одиночными IP-адресами для запроса виртуальных MAC-адресов. Хост-система, как и сам ESXi, не получает адреса IPv6. Это не является ни необходимым, ни возможным, потому что ESXi не может работать со шлюзом fe80 :: 1.

Чтобы использовать эти IP-адреса в виртуальных машинах, необходима виртуальная машина маршрутизатора, дополненная дополнительной виртуальной сетевой картой из новой подсети. Для самой подсети требуется новый vSwitch в ESXi, к которому будут подключены все виртуальные машины в подсети.

Заметки

Тип сетевой карты для виртуальной машины маршрутизатора не должен быть VMXNET2или VMXNET3, иначе производительность TCP может быть очень плохой. В качестве обходного пути LROв виртуальной машине можно отключить через disable_lro=1. Более подробную информацию об этой ошибке можно найти здесь:  http://www.vmware.com/support/vsphere4/doc/vsp_esxi41_vc41_rel_notes.html

После обновления до VMware ESXi 5 эта проблема может появиться снова. Вы можете решить эту проблему, отключив большую разгрузку приема (LRO) на хосте ESXi:

• Войдите на хост ESXi с помощью клиента vSphere.
• Выберите хост -> Конфигурация -> Программное обеспечение: Расширенные настройки.
• Выберите Сеть и прокрутите вниз чуть больше половины.
• Установите следующие параметры от 1 до 0:

Net.VmxnetSwLROSL
Net.Vmxnet3SwLRO
Net.Vmxnet3HwLRO
Net.Vmxnet2SwLRO
Net.Vmxnet2HwLRO

Перезагрузите хост ESXi, чтобы активировать эти изменения.

Если у вас возникают проблемы с подключением в системах с сетевыми картами Realtek, то при определенных обстоятельствах отключение разгрузки и активация опроса могут решить эту проблему. Однако это также снижает производительность.

• разгрузка контрольной суммы: деактивировано
• разгрузка сегментации: деактивировано
• большая разгрузка приема: деактивировано
• опрос устройства: включен

Подготовка в клиенте vSphere

1. Создайте vSwitch (в примере используется имя «subnetz»)

2. Добавьте вторую сетевую карту к виртуальной машине маршрутизатора. Подключенная сеть: subnetz (ранее созданный vSwitch)

3. Сетевая карта виртуальной машины в подсети. Подключенная сеть: подсеть

Обзор сети должен показать следующее:

Конфигурация виртуальной машины маршрутизатора

• Пример /etc/network/interfacesвиртуальной машины на маршрутизаторе

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
# WAN-NIC im VMnetwork
auto eth0
iface eth0 inet dhcp
# for the IPv6 subnet the configuration is analog to other virtualisations
iface eth0 inet6 static
 address 2a01:4f8:61:20e1::2
 netmask 128
 gateway fe80::1
# LAN NIC in Subnet
auto eth1
iface eth1 inet static
 address     192.168.182.30
 netmask     255.255.255.240
# The prefix/netmask can/must be changed according to the amount of network
# segments
iface eth1 inet6 static
 address    2a01:4f8:61:20e1::2
 netmask    64

• Пример /etc/network/interfacesвиртуальной машины Linux в подсети

# The loopback network interface
auto lo
iface lo inet loopback
# The primary network interface
auto eth0
iface eth0 inet static
 address 192.168.182.17
 netmask 255.255.255.240
 gateway 192.168.182.30
iface eth0 inet6 static
 address    2a01:4f8:61:20e1::4
 netmask    64
 gateway    2a01:4f8:61:20e1::2

Виртуальная машина маршрутизатора теперь подключена к обеим сетям и может использоваться в качестве шлюза для виртуальных машин в подсети. Не забудьте активировать IP-переадресацию в ядре:

echo 1 > /proc/sys/net/ipv4/ip_forward
echo 1 > /proc/sys/net/ipv6/conf/all/forwarding

Чтобы сделать это постоянным при перезагрузках, добавьте следующую строку в /etc/sysctl.conf

net.ipv4.ip_forward=1
net.ipv6.conf.all.forwarding=1

Теперь виртуальные машины должны быть доступны (например, через SSH) через назначенные им IP-адреса.

Инструкция по установке

• Выберите Rescue System в качестве ОС для заказанного вами сервера.
• Если вам нужен RAID, вы можете добавить 4-портовый RAID-контроллер, поскольку ESXi не поддерживает программный RAID.
• Как только сервер будет в сети (вы получите электронное письмо от нас, информирующее вас об этом), вы можете заказать консоль KVM и использовать ее для виртуального монтирования ISO-файла той версии ESXi, которую вы хотите установить. Дополнительную информацию о заказе консоли KVM и ее использовании для установки ОС можно найти на   странице консоли KVM .

После этого должен отобразиться следующий экран:

• После перезагрузки войдите, используя пароль, который вы ввели во время установки. Это пароль root для SSH, а также пароль для клиента VMware vSphere (требуется Windows). Затем его можно будет загрузить отдельно через браузер.

• После успешной установки вы можете заказать до трех дополнительных одиночных IP-адресов через Robot. Вы можете получить MAC-адрес для своего дополнительного IP- адреса через Robot на вкладке IP-адресов . Вы увидите небольшую кнопку рядом с IP-адресом. Нажатие на эту кнопку даст IP-адресу виртуальный MAC.
• Настройте MAC-адреса виртуальных серверов с соответствующими IP-адресами через vSphere. Как только это будет сделано, даже DHCP будет работать через сеть Hetzner!

Для получения дополнительной информации о ESXi и его использовании посетите  официальный сайт.

Ручная установка обновлений

Установку обновлений в бесплатной версии можно произвести только через консоль или через VMware Go. Обновление может занимать несколько сотен мегабайт, что может занять много времени при стандартном DSL-соединении, поэтому следующее руководство может помочь. Вы делаете это на свой страх и риск. Нет никаких гарантий на правильность!

Обязательным условием является доступ с активацией SSH и нахождение системы в режиме обслуживания. Это можно активировать с помощью:

vim-cmd hostsvc/maintenance\_mode\_enter

Обновление vSphere 5.0 до 5.1

Прежде всего, VMware-ESXi-5.1.0-799733-depot.zipнеобходимо загрузить  обновление со страницы обновлений VMWare  и сохранить на хосте ESXi.

После того, как все виртуальные машины были выключены и система перешла в режим обслуживания vim-cmd hostsvc/maintenance_mode_enter, обновление можно установить двумя способами. Следующая команда обновляет систему и удаляет все пакеты, не включенные в обновление. Это эквивалентно новой установке.

esxcli software profile install -d /vmfs/volumes/datastore1/VMware-ESXi-5.1.0-799733-depot.zip -p ESXi-5.1.0-799733-standard

В качестве альтернативы только пакеты, содержащиеся в обновлении, могут быть обновлены до их новых версий, а все остальные пакеты останутся нетронутыми.

esxcli software profile update -d /vmfs/volumes/datastore1/VMware-ESXi-5.1.0-799733-depot.zip -p ESXi-5.1.0-799733-standard

Наконец, необходимо перезагрузить систему. Когда виртуальные машины включаются в первый раз после перезагрузки, возможно, появится сообщение о том, что виртуальная машина была скопирована или перемещена. Это происходит потому, что UUID меняются во время обновления. В этой ситуации вы можете смело выбрать «ВМ была перемещена». См. Также:  Страница справки VMware

Установка патчей

После того, как патчи были перенесены в систему, их можно устанавливать. Важно ввести полное имя пути, например:

esxcli software vib install --depot="/vmfs/volumes/datastore1/patches/ESXi510-201210001.zip"
Installation Result
Message: The update completed successfully, but the system needs to be rebooted for the changes to be effective.
Reboot Required: true
[...]

После перезагрузки необходимо выйти из режима обслуживания:

vim-cmd hostsvc/maintenance_mode_exit

Мониторинг RAID-контроллера

Контроллер 3ware

Для контроллера 3ware существует как поставщик CIM, так и интерфейс командной строки. 64-разрядный интерфейс командной строки для Linux можно использовать, начиная с версии 9.5.2.

Примечание. Контроллеры 3ware поддерживаются ESXi 5.0 только через внешний драйвер.

Контроллер Adaptec

Для контроллеров Adaptec поставщик CIM и интерфейс командной строки (arcconf) должны быть установлены вручную. Требуется актуальная версия драйвера. Руководство по установке можно найти на  сайте Adaptec  (PDF)

• Драйвер RAID  версии 5.2.1.29800
• Удаленный Arcconf
• Провайдеры Adaptec CIM

Мониторинг может быть достигнут путем установки удаленного ARCCONF через систему Windows / Linux.

$ arcconf GETCONFIG 1 AD

Контроллер LSI

LSI предоставляет так называемого поставщика CIM / SMIS. После установки на странице мониторинга оборудования в клиенте vSphere отображается состояние RAID. Однако активный сигнал тревоги возможен только в платной версии и при запуске vCenter.

В качестве альтернативы  можно установить инструмент командной строки  MegaCLI , который также используется для управления контроллером RAID. Сценарий может использоваться для автоматизации отображения информации о состоянии. Этот сценарий и уведомления должны запускаться с другого сервера.

Параллельная работа встроенного контроллера / аппаратного RAID

Во время установки ESXi видит только один тип хранилища, то есть либо встроенный контроллер SATA, либо дополнительный контроллер RAID. Если диски подключены к обоим, то приоритет отдается аппаратному контроллеру, а диски, подключенные к встроенному контроллеру, невидимы. Эти диски все еще можно использовать, загружая соответствующий модуль ядра вручную.

/sbin/vmkload_mod ahci

Чтобы этот модуль загружался автоматически во время запуска, необходимо добавить строку выше к /etc/rc.localи /sbin/auto-backup.sh.

Замена оборудования

Изменить MAC-адрес

В случае замены оборудования (например), особенно материнской платы, следует отметить, что хост ESXi сохраняет свой исходный MAC-адрес. Это приводит к проблемам, поскольку коммутатор не будет автоматически пересылать на сервер правильный новый основной IP-адрес, поскольку транслируемый MAC-адрес неверен. MAC-адрес необходимо сбросить через оболочку ESXi. Для этого есть несколько подходов, перечисленных в следующей  статье базы знаний VMWare . Наиболее элегантное решение — когда хост ESXi автоматически распознает новый MAC-адрес при смене платформы и использует его. Для этого можно использовать следующую команду:

esxcfg-advcfg -s 1 /Net/FollowHardwareMac

Либо выполните эту команду до смены платформы, либо, если изменение уже произошло, есть два варианта:

• Закажите консоль KVM Console и включите оболочку ESXi, затем нажмите, Alt + F1чтобы переключиться на консоль и введите команду. После нажатия Alt + F2вы вернетесь в графический интерфейс.
• Временно обучите коммутатор новому MAC-адресу, загрузившись в Rescue System, а затем снова в хост ESXi. В результате хост ESXi теперь снова доступен через основной IP-адрес, но только в течение ограниченного периода времени. Продолжительность этого времени зависит от того, сколько времени потребуется коммутатору для удаления записи кэша ARP для этого MAC-адреса. Обычно достаточно времени для входа в систему через SSH и выполнения команды при условии, что доступ SSH включен. Однако даже это можно настроить, так как подключение через клиент ESXi снова станет возможным.

В любом случае после этого требуется перезагрузка. Это можно запустить через консоль:

reboot

После перезапуска MAC-адрес должен быть установлен правильно, и это можно проверить в оболочке ESXi с помощью следующей команды:

esxcfg-vmknic -l

Новый MAC-адрес должен отображаться рядом с основным IP-адресом.