Live Migration of Virtual Machines

1. Live Migration of Virtual Machines Departamento de Eletrônica – Escola Politécnica Programa de Engenharia Elétrica – COPPE Rafael dos Santos Alves http://www.gta.ufrj.br

2. Informações • Autores • Christopher Clark • Keir Fraser • Steven Hand • Jacob Gorm Hansen • Eric Jul • Christian Limpach • Ian Pratt • Andrew Warfield • Publicação • Second Symposium on Networked Systems Design and Implementation (NSDI'05)

3. Motivação • Balanceamento de carga • Manutenção do sistema • Separação entre hardware e software • Vantagens em utilizar máquinas virtuais • Evita dependências residuais • Permite transferência de estado na memória de forma consistente • Permite separação de preocupações entre operadores e usuários

4. Objetivos • Minimizar tempo “fora do ar” • Tempo total de migração • Manter sem interrupções serviços ativos

5. Abordagens Prévias • Collective • Mobilidade para usuários que utilizam diferentes hosts • Conexões lentas • Interrupção do sistema operacional • VMware • Migração de processo • Dependência residual

6. Questões de projeto • Memória transferida • Minimizar tempo “fora do ar” e tempo total de migração • Recursos locais • Memória • Disco • Interfaces de rede • ...

7. Memória transferida • Três fases de transferência • Push • Máquina fonte continua executando • Páginas são transferidas e em caso de modifcação retransferidas • Stop-and-copy • Simples • Tempo “fora do ar” inaceitável • Pull • Nova máquina executa • Páginas faltantes são puxadas pela rede

8. Abordagem utilizada • Uma fase push iterativa e limitada • n rodadas • Páginas modificas na rodada i-1 transferidas na rodada i • Uma pequena fase stop-and-copy • Pequeno conjunto de páginas frequentemente modificadas

9. Recursos locais • Recursos de rede • Manter conexões abertas • Respostas ARP não solicitadas • Armazenamento local • Assume NAS (Network Attached Storage)

10. Visão geral

11. Writable Working Sets (WWS) • Maior influência no desempenho • Sobrecarga de transferência de memória • Conjunto de páginas frequentemente alteradas • Devem ser transferidas via stop-and-copy

12. Medição do WWS

13. Medição do WWS (2)

14. Medição do WWS (3)

15. Medição do WWS (4)

16. Medição do WWS (5)

17. Questões de implementação • Migração gerenciada vs. Automigração • Limitação dinâmica de taxa • Alteração frequente das páginas • Otimizações para paravirtualização • Interrupção de processos “trapaceiros” • Liberação páginas

18. Migração gerenciada • Daemons na VM de gerenciamento • Dirty bitmap • Páginas sombra • Tabelas de páginas marcadas como somente leitura • Tentativas de modificação interceptadas pelo Xen • Reiniciadas ao final de cada iteração

19. Automigração • Realizado pelo SO sendo migrado • Dificuldade em definir um checkpoint • Solução: stop-and-copy de dois estágios • Interrupção dos processos (exceto os de migração) • Páginas alteradas são enviadas para o dirty bitmap • Transferência das páginas alteradas no primeiro estágio

20. Limitação dinâmica de taxa • Altas taxas de transferência • Impacto nos serviços • Adaptação da largura de banda • 1ª fase de pré-cópia com menor banda possível • Para cada fase seguinte cálculo da taxa de alteração de páginas • Banda para próxima rodada igual a taxa de alteração mais uma constante (50 Mb/s) • Fase stop-and-copy com banda máxima

21. Alteração frequente das páginas • Algumas páginas com alta frequência de alteração • Páginas modificadas na última rodada não são transferidas na rodada atual • Alteração de páginas em aglomerados • Varredura da memória física em ordem pseudo-aleatória

22. Otimizações para parvitualização • Interrupção de processos “trapaceiros” • Alteram a memória mais rápido do que o processo de pré-cópia • Thread de monitoramento • Processos com mais de 40 faltas de páginas movidos para o modo suspenso • Não deve interromper serviços importantes

23. Interrupção de processos

24. Otimizações para parvitualização • Liberação de páginas • SO típicos possuem páginas livres • Não precisam ser copiadas • Caso sejam necessárias • Faltas de páginas • Transferidas do disco • Aumento do custo

25. Avaliação • 2 servidores Dell PE-2650 • Dual Xeon 2 GHz • Somente 1 CPU utilizada • HyperThreading habilitado • 2 GB de memória RAM • Interface de rede Broadcom TG3 • Comutador Gigabit Ethernet • Servidor NAS NetApp F840 • XenLinux 2.4.27

26. Servidor web simples • Apache 1.3 • Memória alocada de 800 MB

27. Servidor web complexo • SPECweb99 • 30% geração de conteúdo dinâmico • 16% operação HTTP POST • 0,5% de scripts CGI • Geração de logs • QoS • Banda agregada de 320 kb/s

28. Servidor web complexo (2)

29. Servidor de baixa latência • Quake 3 • Memória alocada de 64 MB • Seis jogadores

30. Servidor de baixa latência (2)

31. Servidor de baixa latência (3)

32. Carga “diabólica” • Mmuncher • Escrita em memória mais rápida que a transferência pela rede • Memória alocada de 512 MB • Programa em C escreve em área de 256 MB

33. Carga “diabólica” 3,5 segundos de downtime

34. Trabalhos Futuros • Gerenciamento em clusters • Redirecionamento em WANs • Migração de blocos de disco