segunda-feira, 25 de agosto de 2014

EMC Redefine Possible – parte 2 – VMAX3 - storage em imensas proporções

Na primeira parte deste artigo foi apresentada a soluçãoXtremIO, uma forma avançada de fazer toda a gestão dos dados apenas em dispositivos flash com recursos bastante aprimorados e sofisticados para este cenário. Nesta segunda parte vou apresentar alguns conceitos que capturaram muita minha atenção quando se fala em limites intensos de armazenamento. Falo do VMAX3.

É um sistema extremo que se propõe a consolidar toda a necessidade de armazenamento, não importando quão amplo ou complexa seja esta demanda. A EMC define que esta família de produtos não é apenas um sistema de “storage array” para as corporações, mas sim uma plataforma corporativa completa para serviços de dados. Mas o que significa isso?

Características principais

A escala de complexidade, não por ser algo difícil ou complicado, mas sim pelo imenso poder de processamento é um dos pontos chaves da solução VMAX3. São essencialmente 3 modelos: 100K, 200K e 400K. Eles diferem nas suas especificações iniciais e capacidade de dispositivos. Mais detalhes podem ser obtidos neste
documento técnico. Mas vale a pena destacar as características principais dos modelos.

  • Largura de banda de 350 GB/s, 700 GB/s e 1.400 GB/s
  • Processador Intel Xeon de 6, 8 ou 12 núcleos
  • Cache de memória de 2 TB, 8 TB ou 16 TB
  • Capacidade máxima de 496 TB, 2.048 TB ou 3970 TB (ou 3,97 PB)
  • Entre 787 K IOPS até 6.3 M IOPS
  • Número máximo de drives por gabinete: 1440, 2880 ou 5760
  • Em sua expansão máxima pode ter até 384 núcleos de processador

Segundo a EMC, comparado com um de seus mais próximos concorrentes, o VMAX3 tem 2 vezes mais drives, 3 vezes mais cores de processamento, 3 vezes mais densidade, 6 vezes mais flash e 8 vezes mais cache que o produto da HDS!! Ainda assim a EMC afirma que sua confiabilidade está entre 6x9s e 7x9s, ou seja, 99.99999% de disponibilidade. Sabem o que isso significa? Indisponibilidade entre 31 segundos a 3.1 segundos por ano!!! As manutenções, atualizações e ampliações são todas feitas com o sistema em operação sem prejuízo na operação do sistema.


figura 01 – A família VMAX3

Outro dado impressionante deste “gigante de consolidação” é a capacidade de receber inúmeras máquinas virtuais (VMs) ao mesmo tempo. São 5.000 no modelo 100K, 20.000 no modelo 200K e impressionantes 40.000 VMs no modelo 400K!!

Estes são apenas alguns números pinçados das características, mas que mostram como tudo no VMAX3 é grandioso. A figura acima também exibe dois pontos muito importantes que são os conceitos de DYNAMIC VIRTUAL MATRIX e o sistema operacional HYPERMAX, evoluções na arquitetura da solução visando alcançar mais do que apenas armazenar dados.

Dynamic Virtual Matrix

Supondo um sistema em sua configuração máxima, com 384 núcleos de processamento e muitos TBytes de memória, o que Dynamic Virtual Matrix faz é realocar dinamicamente processadores e memória para processos nos quais estes recursos de processamento sejam mais necessários em um específico momento no uso.

Existem muitas funções nativas do próprio storage como os processos de I/O, integridade de dados, QoS, aplicações OLTP, só para citar alguns. E a demanda por memória e processamento varia a cada segundo entre estas e várias funções. Se existe uma divisão estática entre as funções e recursos nunca haverá o melhor uso. Sendo possível alocar dinamicamente em função da requisição daquele instante, obtém-se o máximo resultado. Este é um recurso fundamental na arquitetura do VMAX3.

figura 02 –Dynamic Virtual Matrix – recursos alocados de forma fixa

 
figura 03 –Dynamic Virtual Matrix – recursos alocados de forma dinâmica


HYPERMAX

O HyperMax, sistema operacional que roda no VMAX3 não apenas se incumbe de gerenciar e processar todos os serviços de dados intrínsecos como compressão, deduplicação, encriptação, etc., mas também aplicações ligadas à infraestrutura como por exemplo replicação e backup, com dramáticas consequências de otimização e redução da infraestrutura propriamente dita.

Um bom exemplo, tradicionalmente em um Data Center existem os sistemas de armazenamento, os servidores de aplicação, os servidores de banco de dados, servidores de backup, etc. Backup é talvez a aplicação que mais demanda recurso de banda da rede e é “mal vista” pelos administradores de Data Center por isso. Com a inclusão deste tipo de serviço dentro do VMAX3 uma camada de servidores (de backup) é eliminada e muito maior eficiência vai existir no processo porque o VMAX3 vai se comunicar diretamente com o Data Domain (sistema de armazenamento para backup da EMC) usando uma tecnologia chamada PROTECTPOINT, sem precisar passar por servidores fora da
SAN (Storage Area Network) agilizando dramaticamente backups de sistemas de arquivos ou, por exemplo, bases de dados Oracle.

Mas outras aplicações como gateways de arquivos, gateway com nuvem, consoles de gerenciamento, ferramentas de ETL... são tipos possíveis para rodarem dentro do VMAX3 sob o HYPERMAX. Este nível de consolidação pode levar a grandes economias em TCO (até 50%), energia (até 60%), gerenciamento (até 50%), etc.

 
figura 04 –visão conceitual do HyperMax OS e aplicações


Administração do ciclo de vida das informações

Consolidação de storages é outro ponto importante. Uma implementação comum é a empresa ter diversos níveis ou camadas de storages inclusive separados em dispositivos diferentes. De uma maneira simples os dados eram manualmente distribuídos em storages mais nobres ou menos nobres em função de sua importância ou necessidade de acesso mais ou menos rápido.

A consolidação em larga escala só é possível por causa das capacidades incríveis que o VMAX3 permite atingir. Porém neste caso espaço não é tudo. Vale a pena discutir um recurso, que não é novidade, mas é de extrema importância. A EMC bem como outros fabricantes de storages criaram formas de gerenciar o ciclo de vida da informação em seus produtos. Um dado que é muito acessado pode ser automaticamente “promovido” para residir em uma parte “nobre” do storage, por exemplo nos SSD/flash. Na medida que o dado vai sendo pouco acessado ele vai sendo realocado em discos menos nobres, passando para SAS 15K, SATA 10K, SATA 7.2K e assim por diante. Isso por si só já é um serviço de imenso valor para as corporações. Mas resolve todos os problemas?


 
figura 05 –consolidando diversos storages em um sistema VMAX3


AGILE - administração inteligente de nível de serviço


Uma nova tecnologia da EMC denominada AGILE traz uma proposta realmente diferente para abordar este problema. Apenas se fixar na frequência de uso para alocar os dados em unidades mais nobres do sistema, ou mais rápidas, não atende a todas as necessidades. Algo que não é acessado todo dia pode precisar de um tempo muito pequeno para leitura ou vice versa.

Uma possível solução para isso é definir os tipos de aplicação, como por exemplo, “arquivos de usuários”, “desenvolvimento de aplicações”, “suporte à decisão”, “máquinas virtuais (VMs), “email”, “processamento transacional (ERPs)”... e para cada uma dessas categorias atribuir uma combinação ótima de tipos de drives. Algumas destas usando mais memória flash, outras discos de 7.2 K rpm, outras discos de 15 K rpm... De forma exclusiva ou combinada. Essa é uma boa solução, mas exige grande esforço de configuração para implementação e além disso ao longo do tempo fazer manutenções para reequilibrar as necessidades envolve grande esforço, remanejamento de locais de dados... É um real pesadelo para o administrador. Segundo a EMC essa abordagem é ainda imprecisa, envolve alguma adivinhação, “arte” e até o fator sorte para ter bom resultado. Inaceitável este grau de empirismo.

 
figura 06 –categorias de aplicação e diferentes tipos de drive utilizados

A nova abordagem trazida pela tecnologia AGILE é prover uma camada de abstração sobre toda esta complexidade. A ideia é tratar os requisitos dos dados como objetivos das aplicações. Cada aplicação tem um SL (nível de serviço) intrínseco. Políticas automáticas de uso garantem que sempre estarão sendo atendidas segundo aquele SL determinado.


 
figura 07 –níveis de serviço para cada tipo de aplicação

Cada aplicação tem associado um nível como bronze, prata, ouro, platina ou diamante. Cada um destes níveis tem características próprias de desempenho, latência, taxa de IO sustentada, etc. A tecnologia AGILE presente no VMAX3 é responsável por administrar nos bastidores os recursos, os tipos de drive, etc. É um conceito extremamente simples para o usuário, objetivo e mensurável. Mas é principalmente para o administrador um fator de imensa simplificação, uma vez que ele sabe, ou o usuário demanda o nível de desempenho e ele apenas determina o grupo de SL para a aplicação. Toda a “magia” ou “arte” é realizada nos bastidores de forma algorítmica e totalmente precisa.

Olhe novamente a figura 06 mostrada acima e em seguida a figura 08 abaixo. Neste caso os apropriados níveis de serviço foram convenientemente atribuídos para cada tipo de aplicação. Eu entendi que se há “sobra de recurso” as especificações de nível de serviço podem até ser suplantadas. E se ao longo do tempo as necessidades específicas das aplicações mudarem, basta ao administrador realocar seu nível de serviço apropriadamente, tantas vezes quantas forem necessárias, para cima ou para baixo. Mas com uma diferença, de uma forma extremamente mais simples. 
 
figura 08 –níveis de serviço para cada tipo de aplicação

A alocação da categoria de SL (nível de serviço) pode ser feita no momento do provisionamento da área do storage. Mas também, como já foi dito, ser alterada a qualquer momento para se adequar às novas necessidades. Após a escolha do SL é feita uma verificação no sistema para garantir se aquela aplicação vai mesmo ser capaz de obter aquele nível de serviço com aquele espaço alocado usando os recursos presentes naquele sistema de storage.

 
figura 09 – exemplo nível de serviço para aplicação de banco de dados SQL

 
figura 10 – nível de serviço pode ser atingido para esta aplicação SQL


Storage na nuvem pública

Por fim existe um conceito ousado que ainda permeia a solução VMAX3 da EMC. Há diferentes tecnologias de dispositivos de armazenamento sendo usadas como discos de 7.2K, 10 K, 15K e flash/SSD. E como foi visto também administrado de forma transparente por meio dos níveis de serviço.

A EMC recém adquiriu uma empresa chamada TWIN STRATA, especializada em gateway de nuvem que tem a tecnologia que permitirá que um sistema VMAX3 possa considerar um serviço de nuvem pública como, por exemplo, Google, Amazon S3, Microsoft Azure, VMware VCHS, AT&T, etc, como mais uma camada do sistema de storage.

 

figura 11 – A nuvem pública como mais uma camada de armazenamento do storage

Dessa forma os dados podem transitar conforme a necessidade entre a nuvem pública e o sistema de armazenamento local. Tudo isso seguindo as políticas definidas pelos administradores dos storages da empresa que definirão quais dados, de que tipo de qual aplicação poderão transitar pela nuvem como mais uma camada de armazenamento. Inclusive o SL (nível de serviço) discutido anteriormente pode ser fator de decisão se aqueles dados irão ou não para a nuvem. Esta integração ainda não foi feita com o sistema VMAX3 porque a aquisição da TWIN STRATA é bem recente, mas já se sabe o que está por vir com esta nova tecnologia. Penso que isso é bastante interessante uma vez que com a inclusão da nuvem a capacidade de armazenamento torna-se virtualmente infinita.


Conclusão

Isso encerra a jornada conceitual pelo VMAX3. A EMC tinha como objetivo prover uma solução de dispositivo híbrido (discos magnéticos, flash/SSD e nuvem com o TWIN STRATA), facilmente gerenciável, inovando conceitos com a abstração da configuração por meio dos níveis de serviço. Isso tudo em um dispositivo escalável em imensas proporções, com incrível poder de processamento e possibilidade e consolidação de storages. Ainda assim a partir de determinadas capacidades instaladas no VMAX3, obter custos de armazenamento na ordem de US$ 3/GB e US$ 1.85/IOPS (com 10% de SSD e 90% de HDs).

Tudo isso é um grande passo, um bom passo para administrar a overdose de dados, a explosão de dados a que todos, pessoas e principalmente as empresas estão submetidos. Cada vez maior, cada vez mais intenso este fenômeno e exatamente por isso que a EMC, bem como outras competentes empresas de soluções no setor de armazenamento tem sido tão agressivas no sentido de acelerar e sofisticar suas soluções. E com certeza o 
VMAX3 é um grande passo nessa direção!


 

figura 12 – resumo da solução e custo de armazenamento

Nenhum comentário:

Postar um comentário