Способы повышения доступности серверной...
DESCRIPTION
ENT303. Sr. Consultant, Microsoft. Артём Проничкин. Consultant, Microsoft. Способы повышения доступности серверной инфраструктуры Мастер-класс по кластеризации. Семён Красильников. Предварительная информация. - PowerPoint PPT PresentationTRANSCRIPT
ENT303
Способы повышения доступностисерверной инфраструктуры
Мастер-класс по кластеризации
Семён КрасильниковSr. Consultant, Microsoft
Артём ПроничкинConsultant, Microsoft
Предварительная информацияENT302 Способы повышения доступности серверной инфраструктуры: как максимально эффективно повысить надежность?Построение высоконадёжных системна базе Windows Server 2008 R2: новые возможности
http://www.techdays.ru/videos/1538.html
СодержаниеСлужба кластеризации сегодня
Распределение групп по узлам кластераОбслуживание кластера
Специальные технологии и особенности их планирования
Учётные записи кластера в AD DS Демонстрация: восстановление CNO/VCO
Планирование кластерных сетейClustered Share Volume (CSV) Демонстрация: исправление Possible Owners для Cluster Shared Volume
Тонкие настройки территориально распределённых кластеровКак переместить системные группы
Распространённые неполадки
Кластеры в Windows Server 2008 и R2
Упрощенная установка и доработанный интерфейсУлучшенная масштабируемостьВстроенные инструменты проверкиУлучшения подсистемы хранения данныхУлучшение компонентов безопасностиУлучшение механизмов обнаруженияи устранения проблемУправление через Windows PowerShell (R2)
Кластеры в Windows Server 2008 и R2 (продолжение)
Расширенная модель кворумаNode MajorityNode & Disk MajorityNode & File Share MajorityDisk Only
Кластеры в Windows Server 2008 и R2 (продолжение)
Улучшенная работа с сетьюNetFT (Fault Tolerant Virtual NIC)Network Topology ManagerНастраиваемые межузловые коммуникацииНастройки безопасности по WAN
МасштабируемостьScale Out: 16 узлов в кластере
Enterprise, Datacenter и Hyper-V Server (Free)Кластер может содержать разные издания8 узлов в издании для Intel Itanium
Scale Up: 1000 виртуальных машинДо 8 июня 2010 года было «не более 64 ВМ на каждый узел»Без кластера — не более 384 ВМ на сервер Hyper-VСчитаются только запущенные ВМДоп. информация: http://technet.microsoft.com/library/ee405267
Кластеры в Windows Server 2008 и R2 (продолжение)
Вы можете кластеризовать большеЧастые сценарии
Hyper-VSQLExchangeFile Server
Поддержка «из коробки»DFS-NamespaceDFS-ReplicationDHCPDTCiSNSMSMQNFSPrintRemote Desktop Connection BrokerWINS
Частные сценарииActive Directory CSActive Directory RMSiSCSI Target
Generic ContainersGeneric ApplicationGeneric ScriptGeneric ServiceOther Server
Сторонние приложенияSQL ServerExchange ServerОтраслевые приложения
Распределение групп по узлам кластера
Possible OwnersСвойство ресурсаHard blockНе влияет на приоритет
Preferred OwnersСвойство группыBest EffortВлияет на приоритет
Распределение групп по узлам кластера
Anti-AffinityСвойство группыНабор произвольных строкBest Effort
Pause NodeСвойство узлаПредотвращает запуск новых групп на узле
Кроме ресурса Witness
Не препятствует переносу групп с узла
Распределение групп по узлам кластераАвтоматический перенос группы в резервный ЦОДЖёсткий запрет
Решение 1: Possible OwnersРешение 2: Pause Cluster Nodes
Установка приоритетаРешение 3: Enable Persistent ModeРешение 4: Possible Owners + Fallback Policies
Распределение групп по узлам кластераPersistent ModeНовое в Windows Server 2008 R2
Свойство DefaultOwner (http://msdn.microsoft.com/library/aa371465)
ЗначениеПоследний узел, на который группа была перемещена администратором (Move)Может отличаться от того узла, на котором группанаходилась непосредственно перед выключением кластера
По умолчаниюDisabled (4294967295 или -1) для большинства ролейEnabled (Node ID) для виртуальных машин Hyper-V
Распределение групп по узлам кластераPersistent Mode (продолжение)При запуске кластера (Cold Start), группа
пытается запуститься на указанном узле в течение 30 секундИнтервал задаётся свойством кластера ClusterGroupWaitDelay (http://msdn.microsoft.com/library/aa371422)
Preferred Owners имеет приоритетЕсли значение не указано или прошло 30 секунд
Группа запускается на любом узле, сформировавшем кворум
Не влияет на перенос группы после запуска кластера
Вручную администратором (Move)Переход по отказу (Failover)
Распределение групп по узлам кластераPersistent StateСвойство PersistentState
группы (http://msdn.microsoft.com/library/aa369678)
ресурса (http://msdn.microsoft.com/library/aa372197)
Последнее состояние объекта, заданное администратором
Для ресурса сбрасывается каждый раз после запускаЕсли для ресурса пусто, то наследуется значение группы
Определяет, будет ли объект запущенпри запуске кластера (Cold Start)при перемещении группы администратором (Move)при переходе по отказу (Failover)
Распределение групп по узлам кластераAuto StartНовое в Windows Server 2008 R2
Свойство Priority (http://msdn.microsoft.com/library/aa371465)
Enabled по умолчанию для всех ролейОпределяет, будет ли группа запущена
при переходе по отказу (Failover)при запуске кластера (Cold Start)
Не влияет на состояние при перемещении группы администратором (Move)Полезно при большом количестве ресурсоёмких групп
Например, виртуальных машин Hyper-V
Распределение групп по узлам кластераPersistent Mode, Persistent State и Auto StartЗапуск кластера Перенос
администратором (Move)
Переход по отказу (Failover)
Состояние • Persistent State &• Auto Start
(Priority)
Persistent State • Persistent State &• Auto Start
(Priority)
Узел 1. Possible Owners,2. Preferred Owners,3. Anti-Affinity,4. Persistent Mode
n/a 1. Possible Owners,2. Preferred Owners,3. Anti-Affinity
Распределение групп по узлам кластераБалансировка нагрузки виртуальными машинами
Кластер не перемещает уже запущенные группымежду узлами кластера автоматически
кроме ситуаций перехода по отказу (Failover)подробнее об использующихся алгоритмах: http://blogs.msdn.com/b/clustering/archive/2009/08/11/9863688.aspx
Для балансировки нагрузки кластера виртуальными машинами можно использоватьSystem Center Virtual Machine Manager (SC VMM)С точки зрения кластера это является административным действием
Распределение групп по узлам кластераУправление с помощью SC VMMТонкие настройки групп не учитываются
Preferred OwnersAnti-Affinity
Жёсткие ограничения учитываютсяPossible OwnersPause Node
Не интегрировано с VMM Maintenance Mode
Распределение групп по узлам кластераУправление с помощью SC VMM (продолжение)Решение: VMM 2012 Dynamic Optimization
с использованием Custom Placement (http://technet.microsoft.com/library/gg675109)
PRC302 System Center Virtual Machine Manager 2012: управление инфраструктурой виртуального ЦОД
Распределение групп по узлам кластераУправление с помощью SC VMM (продолжение)Виртуальная сеть существует
не на всех узлах кластера Hyper-VВиртуальная машина использует эту сетьUnsupported Cluster Configuration в VMM
http://technet.microsoft.com/library/cc917922http://technet.microsoft.com/library/cc967323
РешениеVLAN вместо виртуальной сети
или создать фиктивную виртуальную сеть на остальных узлах
Possible Owners
Обслуживание кластераВывод узла (Pause Node)
Не переносит группы автоматически (туда и обратно)Не препятствует формированию кворумаМожет быть дополнено (cценарии, Opalis/Orchestrator)
VMM Maintenance ModeOpsMgr Maintenance Mode
Требует планирования масштабируемости1 или 2 свободных узла
Обслуживание кластераПоочерёдное обслуживание узлов кластера
Никак не связано со службой кластеризацииПолностью ручной процесс
АвтоматизацияVMST 3.0… Beta (Unsupported)SC VMM 2012 (http://technet.microsoft.com/library/gg675084)
Opalis / SC Orchestrator (http://opsmgr.ru/Lists/Posts/Post.aspx?ID=272)
MGT202 Автоматизация процессов в ЦОД-ахс помощью System Center 2012 Orchestrator
Не только установка обновления, но и контроль успешности
Обслуживание кластераКак отслеживать обновления?
Recommended hotfixes and updates for Windows Server 2008 R2 SP1 Failover Clusters (http://support.microsoft.com/kb/2545685)
Recommended hotfixes and updates for Windows Server 2008 R2-based server clusters (http://support.microsoft.com/kb/980054)
List of Cluster Hotfixes for Windows Server 2008 R2 (http://social.technet.microsoft.com/wiki/contents/articles/list-of-cluster-hotfixes-for-windows-server-2008-r2.aspx)
List of Failover Cluster Packages Updated After the Release of Windows Server 2008 R2 Service Pack 1 (SP1) (http://social.technet.microsoft.com/wiki/contents/articles/3153.aspx)
Storage Validation
Проверяет все диски, находящиеся в состоянии Offline
Простой в предоставлении услугиНельзя указать диск
Решение: создать временный пустой диск
Учётные записи кластера в AD DS
Ресурсы типа «Network Name»Cluster Network Object (CNO)
Cluster Name
Virtual Computer Object (VCO)Client Access Point (CAP)
ПроблемыСоздание учётных записейУправление жизненным циклом
Учётные записи кластера в AD DSСоздание
Учётные записи создаются в контейнере по умолчаниюУ администратора кластера (или приложения)нет прав на создание объектов
Учётные записи кластера в AD DSСоздание
Решение 1: делегировать правана создание учётных записей
http://blogs.technet.com/b/askcore/archive/2010/06/02/rights-needed-for-user-account-to-create-a-cluster-name-object-cno-on-windows-server-2008-r2-failover-cluster.aspx
Решение 2: предварительно создаватьучётные записи вручную
http://blogs.technet.com/b/askcore/archive/2011/06/22/rights-needed-for-user-account-when-precreating-a-cluster-name-object-cno-on-windows-server-2008-r2-failover-cluster.aspx
Решение 3: перенаправить контейнерпо умолчанию (на уровне домена)
http://support.microsoft.com/kb/324949
Учётные записи кластера в AD DSУправление жизненным циклом
Администратор AD DS удаляет «устаревшие»учётные записи компьютеров
Учётные записи кластера в AD DSУправление жизненным циклом: почему удаляют?
pwdLastSet (http://msdn.microsoft.com/library/ms679430)
Не обновляется кластерами Windows Server 2003и предыдущими версиямиОбновляется Windows Server 2008 и старше
но только в случае, если этого требуетлокальная политика безопасности
Учётные записи кластера в AD DSУправление жизненным циклом: почему удаляют?lastLogonTimeStamp (http://msdn.microsoft.com/library/ms676824)
Используется в лесу, находящемся на функциональном уровне Windows Server 2003 и старше
Дополнительная информация: http://blogs.technet.com/b/askds/archive/2009/04/15/the-lastlogontimestamp-attribute-what-it-was-designed-for-and-how-it-works.aspx
Может не обновляться месяцами, если ресурсне менял состояния (Failback, Failover)
Учётные записи кластера в AD DSУправление жизненным циклом: восстановлениеRepair Active Directory Object не помогает
Поддерживаемое решение:восстановление объекта в AD DS
Резервная копия (http://support.microsoft.com/kb/840001)
Active Directory Recycle Bin (http://technet.microsoft.com/library/dd391916)
ADRestore (http://blogs.technet.com/b/asiasupp/archive/2006/12/14/using-adrestore-tool-to-restore-deleted-objects.aspx)
Учётные записи кластера в AD DS:Управление жизненным циклом: как удалять?
Определите, что учётная запись принадлежит кластеруservicePrincipalName (http://msdn.microsoft.com/library/aa347698)
Соглашения (отдельный OU)Remove-Cluster –CleanupAD
(http://technet.microsoft.com/library/ee461005)
Дополнительная информацияhttp://blogs.msdn.com/b/clustering/archive/2011/08/17/10197069.aspxhttp://blogs.technet.com/b/askds/archive/2011/08/23/cluster-and-stale-computer-accounts.aspx
Live Migration
Каждый узел может участвовать в одной миграцииКак источник или получатель
Последовательная миграция реализуетсяс помощью сценария
$VMs = "MyVM01.Contoso.com","MyVM02.Contoso.com"$VMs | ForEach-Object -Process { Get-Cluster -Name "Cluster01.Contoso.com" | Move-ClusterVirtualMachineRole -Name $_ ` -Node "ClusterNode.Contoso.com" }
Кластеры в виртуальных машинах(Guest Clustering)
Многие роли требуют общего хранилищаSCSI, SATA или Fiber Channel (FC)
Виртуальные машины Hyper-Vне могут использовать общую шинуРешение: Используйте iSCSI, но…
iSCSI Target может стать единой точкой отказаКластеризация iSCSI Target... тоже требует общего хранилища
Решение 1: кластер программных iSCSI Targetна выделенных физических серверах с хранилищем на общей шинеРешение 2: аппаратный или сторонний iSCSI Target
Планирование сети
Рекомендуется использовать как минимум две сетиFailover Cluster Validation выведет предупреждение (Warning)
PublicСтатические адреса или назначенные DHCP (IPv4), без APIPAIPv6 SLAACШлюз по умолчанию
PrivateПредпочтительный IPv6 или
не маршрутизированный IPv4Нет шлюза по умолчаниюОтдельный физический путь
IPv6 «поднимается» быстрее
172.1.2.0/24 – 2001:4898::/64 – Metric 10000 – Role 3
10.0.0.0/8 – fd00::/8 – Metric 1000 – Role 1
...Node 1 Node 2 Node N
Действительно ли нужно две сети?
Рекомендуется использование минимумдвух различных физических путей
Отдельные сетевые карты (не порты!)Отдельные коммутаторыЕсли один путь теряется, кластер может образовать кворумпо оставшимся путям
Альтернатива: NIC TeamingПредоставляетсяи поддерживаетсяпоставщиком оборудованияВсё равно выведетпредупреждение Private Network Switch
Public Network Switch A
Public Network Switch B
…может больше сетей?
Соображения производительности
Трафик управленияТрафик CSV (redirected access)Трафик Live MigrationТрафик ВМ
Выделенная сеть для iSCSIНе должна быть использована кластерной службой
Метрики кластерных сетей
Определение приоритетов для трафика кластераНиже метрика — выше приоритет Режим автоматического назначения метрики(по умолчанию)
Windows PowerShell(Get-ClusterNetwork "Lab Public").AutoMetric = $true
Cluster.exe cluster net "Lab Public" /prop AutoMetric=1
Ручная установка метрикиWindows PowerShell
(Get-ClusterNetwork "Lab Public").Metric = 10001
Cluster.exe cluster net "Lab Public" /prop Metric=10001
Cluster Shared Volume (CSV)Особенности
Позволяет минимизировать простой при отказе подключения к хранилищуНе является необходимым для Live MigrationМетаданные и файлы конфигурации всегда записываются через узел-координаторЯвляется отдельной кластерной группойМногие свойства (например, объём свободного места) доступны через Custom Format в Windows PowerShell (http://blogs.msdn.com/b/clustering/archive/2010/06/19/10027366.aspx)
Cluster Shared Volume (CSV)Ограничения
Только роль Hyper-VПри совмещении может вызвать остановку 0x00000050Отключите фильтр: Fltmc detach csvfilter T:
http://blogs.technet.com/b/askcore/archive/2011/10/24/stop-0x50-on-windows-2008-r2-failover-cluster.aspx
Все узлы в одной сетиОграничения при межсайтовой кластеризации
Наличие контроллера домена
Cluster Shared Volume (CSV)Ограничения (продолжение)
Работа по SMBRedirected Mode отображается на уровне томаНо состояние может различаться между узламиRedirected Mode во время снятия резервной копии
Использует одну сетьОграничение на масштабируемостьОшибки 5120 и 5142 в случае, если сеть недоступнаили настроена неправильно (http://support.microsoft.com/kb/2008795)
Выбор сети определяется метрикойhttp://technet.microsoft.com/library/ff182335
Cluster Shared Volume (CSV)Possible Owners
В нормальной ситуации не используетсяКластер сам определяет режим доступа
Может быть установлено автоматическиОбщее хранилище не подключено к узлу
Либо подключено, но не выполнен Rescan
Узел добавлен в кластерЗатем подключено общее хранилище
Cluster Shared Volume (CSV)Possible Owners (решение)
Get-Cluster -Name "MyCluster.Contoso.com" | Get-ClusterOwnerNode -Resource "Cluster Disk 1"
ClusterObject OwnerNodes ------------- ---------- Cluster Disk 1 {ClusterNode01}
Set-ClusterOwnerNode -Cluster "MyCluster.Contoso.com" ` -Resource "Cluster Disk 1" ` -Owners "ClusterNode01","ClusterNode01"
Большинство коммандлетов get-* не выводят информацию о CSV
Тонкие настройки для территориально распределённых кластеров
Критерии определения узла как «недоступного»SameSubnetDelaySameSubnetThresholdCrossSubnetDelayCrossSubnetThresholdRegisterAllProvidersIP HostRecordTTL
(http://technet.microsoft.com/library/dd197562)
Тонкие настройки для территориально распределённых кластеров (продолжение)Асимметричное хранилище
Определяет, какое хранилище считается доступным кластеру
Любой диск, доступный как минимум двум узлам
Разработано для поддержки SQL Server 2012 “AlwaysOn”
Вопросы можно адресовать Борису Барышникову в зоне экспертов
Новое в Windows Server 2008 R2 Service Pack 1 (SP1)
Тонкие настройки для территориально распределённых кластеров (продолжение)
Узлы без права голосаНе участвуют в формировании кворума
Препятствует формированию кворумав резервном ЦОД при сетевой изоляции
Участвуют в выполнении нагрузки (групп)в отличие от вывода узла (Pause Node)
Новое — содержится в исправлении KB2494036для Windows Server 2008 Service Pack 2 иWindows Server 2008 R2
http://support.microsoft.com/kb/2494036
No Vote
Что такое системные группы?
Get-Cluster -Name "y-s-db14fc.inf.winextreme.org" | Get-ClusterGroup | Where-Object -FilterScript { $_.IsCoreGroup -eq $True }
Name OwnerNode State---- --------- -----Cluster Group y-s-db14n1 OnlineAvailable Storage y-s-db14n1 Offline
Как переместить системные группы?
Get-Cluster -Name "MyCluster.contoso.com" | Get-ClusterGroup -Name "Cluster Group" | Move-ClusterGroup –Node "Server1.contoso.com"
Get-Cluster -Name "MyCluster.contoso.com" | Get-ClusterGroup -Name "Available Storage" | Move-ClusterGroup –Node "Server1.contoso.com“
http://blogs.technet.com/b/askcore/archive/2011/08/12/how-to-failover-the-cluster-group-and-available-storage-cluster-groups.aspx
Сценарий 1: Переход виртуальной машиныпо отказу в случае сбоя сети
Решение 1: NIC TeamingПредоставляется и поддерживаетсяпоставщиком оборудования
Решение 2: Зависимость от ресурса типа IP AddressРешение 3: Зависимость от сценария (http://blogs.msdn.com/b/robertvi/archive/2008/12/05/howto-monitor-the-nic-used-by-a-virtual-machine-in-a-hyper-v-cluster.aspx)
Cценарий 2: Настройки ВМ, измененныена одном узле кластера, не передаются,когда ВМ перемещается на другой узел
Причина: не использовалась функция обновления конфигурации ВМ
Решение: Refresh VM Configurationhttp://technet.microsoft.com/library/dd759135KB2592237
Сценарий 3: Не работает Live MigrationLog Name: Microsoft-Windows-Hyper-V-High-Availability-AdminSource: Microsoft-Windows-Hyper-V-High-AvailabilityEvent ID: 21203Description:Failed to create virtual network switch port '41b00ca5-b9bd-486c-a8e3-aa0fd7ef706f'. (HRESULT 0x80070490) Log Name: Microsoft-Windows-Hyper-V-High-Availability-AdminSource: Microsoft-Windows-Hyper-V-High-AvailabilityEvent ID: 21125Description:Configuration setup for live migration failed on the destination node. Make sure that name of the virtual network is the same on the source and destination nodes, and try the live migration again.
Сценарий 3: Не работает Live Migration (продолжение)
Причина: Именование виртуальных сетейразличается между узлами кластера
Решение: Привести имена сетей к общему значениюKB2475761
Итоги
Мы рассмотрели
Возможности службы кластеризациив Windows Server 2008 R2 и вышеСпециальные технологии и особенности их планированияРаспространённые неполадки и способы их разрешения
Ресурсы
Блогиhttp://blogs.msdn.com/clustering/http://blogs.technet.com/b/askcore/archive/tags/failover+cluster/Материалы по HA: http://blogs.msdn.com/clustering/archive/2009/08/21/9878286.aspx
Информационный портал по кластерамhttp://www.microsoft.com/windowsserver2008/en/us/clustering-home.aspx
Технические ресурсы по кластерамhttp://www.microsoft.com/windowsserver2008/en/us/clustering-resources.aspx
Форум по кластерамhttp://forums.technet.microsoft.com/en-US/winserverClustering/threads/
Ресурсы по кластерам Windows Server 2008 R2http://technet.microsoft.com/en-us/library/dd443539.aspx
Добавляйте свою документацию на TechNet Wiki http://social.technet.microsoft.com/wiki/contents/articles/tags/Failover+Cluster/default.aspx
Обратная связь
Уважаемые участники!Ваше мнение очень важно для нас!В блокноте, который находится в инфопаке участника,вы найдете анкету для оценки докладовПожалуйста, оцените доклад и сдайте анкету модераторупри выходе из залаДля участия в конкурсе заполненных анкет, отметьтев анкете номер, который указан на вашем бейдже
Спасибо!
Вопросы ENT303Артём Проничкин
консультант, [email protected]
Семён Красильниковстарший консультант, [email protected]
Вы сможете задать вопросы докладчикамв зоне Microsoft («Спроси эксперта») в зале №17в течение часа после завершения этой сессии
Доступ клиентов к ресурсам —проблемы и сценарии решения
Узлы в разных сетяхСбой Client Access Pointв сети Site A Клиентам нужен новыйIP-адрес из DNS для восстановления соединения
Доступ клиентов к ресурсамРешение 1: Приоритет локальных узлов
Масштабирование кластера для повышения локальной доступности ресурсов
Нет изменений IP-адреса ресурса
Failover по WAN только для Site-Recovery
Force QuorumВыполняется вручную
Доступ клиентов к ресурсамРешение 2: «Растянуть» VLAN
VLAN уменьшит время переподключения клиентов
IP-адрес ресурсане меняется
Требуется для ряда ролей
CSVвсех версий SQL Serverдо SQL Server 2012
Доступ клиентов к ресурсамРешение 3: Абстракция на уровне сетевого устройства
Сетевое устройство использует третий IP-адресЭтот IP-адрес зарегистрирован в DNSи его используют клиенты
Пример: http://www.cisco.com/en/US/docs/solutions/Enterprise/Data_Center/App_Networking/extmsftw2k8vistacisco.pdf
Доступ клиентов к ресурсамРешение 4: Конфигурация настроек сетевых имен (NN)RegisterAllProvidersIP (default = 0 для FALSE)
Определяет будут ли все IP-адреса для ресурсов NNзарегистрированы в DNSTRUE (1): IP-адреса могут быть «online» или «offline»,но будут зарегистрированыКлиентское приложение должно пытатьсяиспользовать все IP-адреса
Доступ клиентов к ресурсамРешение 4: Конфигурация настроек сетевых имен (NN) (продолжение)
HostRecordTTL (default = 1200 seconds)Контролирует время жизни записидля сетевого имени кластера в кэше DNS на клиентеМеньшее значение TTL — значение записи DNSна клиентах будут обновляться чащеПредупреждение: Настройка параметра на уровне кластеране ускорит репликацию DNS!
Hang DetectionCluster Node
ClusSvcHangTimeout (http://msdn.microsoft.com/library/aa371422)
HangRecoveryAction (http://msdn.microsoft.com/library/aa369104)
http://blogs.technet.com/b/askcore/archive/2009/06/12/why-is-my-2008-failover-clustering-node-blue-screening-with-a-stop-0x0000009e.aspx
Hang DetectionVirtual Machine
Enable heartbeat monitoring for the virtual machine
http://blogs.msdn.com/b/robertvi/archive/2011/01/11/what-does-quot-enable-heartbeat-monitoring-for-the-virtual-machine-quot-do.aspx