quarta-feira, 1 de maio de 2013

Enterasys viabiliza acesso WiFi para 68000 pessoas em estádio

A notícia não é nova. O fato que relato aconteceu no final de 2012. Mas em recente contato que fiz com a empresa Enterasys, cuja expertise é em equipamentos para rede (incluindo WiFi), tive contato com este incrível caso!! Vou descrever para os leitores esta realização formidável, mas também sob o prisma técnico, uma vez que eu já apanhei bastante em implantações de redes WiFi. Se eu tive dificuldades e problemas com redes 1000 vezes menores, quais não são os desafios para prover Internet sem fio para quase 70000 pessoas!! Em passado recente eu escrevi alguns artigos sobre experiências com WiFi, que destaco abaixo:


O primeiro texto (Desembaraçando sua rede sem fio) é o que mais perto chega do imenso desafio técnico de implantar um sistema de WiFi de maior porte, mas mesmo assim passa muito longe, eu diria a anos luz,  do que fez a Enterasys no Gillete Stadium, do time New England Patriots
(futebol americano) situado em Foxborough, Massachusetts também para o “nosso futebol” (soccer), do time New England Revolution.


figura 01 - Gillete Stadium – time New England Patriots – Wifi para todo mundo

Mas antes de detalhar o grande feito técnico e de engenharia, convém discutir um pouco quais razões levaram os proprietários do estádio a esta realização. Afinal será que permitir que pessoas compartilhem fotos do evento esportivo nas redes sociais e acessem seus e-mails é motivo suficiente para investir em infraestrutura tão elaborada e aplicando consideráveis recursos? Evidentemente que não. Muitas pessoas têm planos de dado em seus smartphones e nem precisariam disso. O objetivo era muito mais amplo e ambicioso!

Os proprietários perceberam que a presença de público no estádio vinha declinando ano após ano. Com a facilidade de TV digital, imagem de alta definição, som multicanal, as salas das pessoas acabava sendo ambiente mais agradável e cômodo para que os fãs assistissem às partidas. Algo precisava ser feito para ampliar a atratividade para os espectadores retornarem ao estádio. O WiFi e Internet de alta velocidade no estádio permitiram que uma nova forma de interação fosse criada.

O fã de futebol americano ou soccer, uma vez conectado ao sistema do estádio, usando um site específico ou aplicativo, pode escolher uma entre diversas câmeras para ver e rever lances polêmicos com excelente definição, analisar por outros ângulos, etc. Isso por si só já redefine a experiência de assistir uma partida em um estádio. Cada um pode escolher novas visões de determinado lance e assisti-lo em seu smartphone ou tablet. Não bastasse isso, aplicativos criativos e muito práticos foram disponibilizados para que as pessoas pudessem saber quais banheiros estão com menos fila ou quais lanchonetes estão mais vazias, etc. Também pode ser explorada publicidade dirigida aos espectadores. Enfim, são múltiplas formas de interação possíveis com os espectadores.

Digressão feita, ficou claro que o esforço foi muito bem feito e objetivo atingido. Claro que isso é verdade apenas e tão somente se a solução técnica foi feita de forma impecável pela Enterasys. Ter WiFi no estádio e o vídeo “soluçar” ou os serviços planejados não funcionarem serviria para afastar ainda mais os espectadores. Assim o projeto só tinha uma opção que era “dar certo”!!

Detalhando a solução

À luz de meu conhecimento pessoal do assunto, que é muito restrito em se falando de projetos tão grandes, vou destrinchar um pouco mais o trabalho da Enterasys no Gillete Stadium. Tive acesso a um documento técnico bastante minucioso o qual vou resumir e destacar os pontos que me chamaram mais atenção, acrescentando meus comentários. Logo de início, antes de conhecer o projeto, várias perguntas vinham à minha cabeça.

Como administrar o conflito dos canais de rádio? Na banda de 2.4 Ghz (mais usada) são apenas 11 canais
!!
vivi situaçõesde interferências e sei o quanto isso é nefasto.

Quantos APs (access points) Wirelles seriam necessários para cobrir o estádio inteiro?

Como garantir o desempenho para os espectadores?

Seriam usados vários SSIDs (nomes de rede sem fio) ou uma rede única (de mesmo SSID) para o estádio todo?

Faz diferença um ambiente com tantas pessoas? Pessoas interferem no sinal do WiFi?

Como fica a segurança? As pessoas conectadas podem acessar os dispositivos dos outros?

Tudo é uma grande rede com milhares de pontos ou há divisões da rede em pedaços?


figura 02 – Dúvidas e interrogações não faltam antes de realizar um projeto desses


Características e desafios da solução

Uso do rádio
Apenas para ilustrar quanto é “manhoso” um projeto de WiFi nestas proporções, seria natural desejar que um Access Point operasse em sua potência máxima, para que tenha maior alcance, certo? Isso nem sempre é bom ou verdade. Lendo o documento técnico da Enterasys sobre este caso descobri que por vezes operar em potência reduzida é mais adequado. Delimita a área de atuação do AP minimizando interferências.

Dispositivos que tentam se associar a um AP, ou buscam por redes (SSIDs) disponíveis consomem bom tempo de transmissão (tempo de antena). Em um cenário de alta densidade este tempo de uso do canal de rádio pode representar uma parcela significativa da banda disponível. Deve-se notar que as associações e buscas por redes são feitas por meio de pacotes enviados em taxa mínima de transmissão (mais lentamente). Por isso mesmo pequena quantidade de pacotes pode consumir uma grande quantidade de tempo de antena (banda de rádio).

Interferências
Um problema geralmente negligenciado quando se planeja ambientes hiper densos é o fato de que o corpo humano é composto de 80% de água, que tem uma absorção significativa de rádio nas frequências de 2,4 GHz e 5 GHz. Isto significa que as propriedades de transmissão podem variar muito entre um local cheio e um espaço totalmente vazio. O projeto e dimensionamento da rede deve levar em conta que o comportamento da propagação do rádio pode mudar radicalmente quando o local está com todas as pessoas.

Dificuldades inerentes à arquitetura
Arquitetonicamente, estádios e locais hiper densos estão longe de ser perfeito para colocar APs. É difícil de igualar a exigência de pequenas células com as restrições arquitetônicas de um local gigante. Estádio têm cartazes, placares eletrônicos, telas e componentes estruturais e arquitetônicos em torno de seu perímetro. Isso força o projeto de usar as estruturas disponíveis para receber os APs e antenas altamente direcionais obter o funcionamento do rádio como desejado.


Cabeamento
Atenção especial também deve ser dada à colocação dos APs em relação ao cabeamento de rede. Afinal todos os APs devem ser munidos de acesso à rede por um cabo Ethernet que interliga toda a estrutura, inclusive acesso a servidores e links de Internet. Devido às restrições arquitetônicas de ambientes deste tipo de local, APs provavelmente vão ser colocados em locais de difícil acesso. Atingir esses locais com um cabo de dados (Ethernet) pode ser tão difícil e caro como o planejamento e montagem dos próprios APs. Trata-se de um projeto de rede à parte, do segmento cabeado da rede.

figura 03 – caraterísticas estruturais de um estádio que dificultam um projeto de WiFi

Outras redes
Outro problema é o excesso de fontes de rádio estranhas ao próprio local. Como exemplo de um cenário real de mais de 11 redes sem fio (ESSIDs) e 100 Pontos de Acesso (BSSIDs) foram observados no espectro de 2.4 GHz durante um evento. SSIDs visíveis incluem: redes pessoais ad-hoc, compartilhamento de 3G pessoal, serviços ao cliente antigos e obsoletos no local, SSID de phishing, SSIDs padrão presentes em modems ADSL ou Cable, etc. Para implantar uma única rede Wi-Fi onipresente todas essas outras redes devem ser identificadas e revistas. Um dos principais objetivos do projeto é garantir que o meio ambiente é "limpo" a partir de uma perspectiva de RF (rádio frequência). Isto pode ser conseguido utilizando a ferramentas “Enterasys Advanced Rogue AP Detection, detection”, que foi usado neste projeto.

Alcance heterogêneo
Os dispositivos são heterogêneos. Têm potências de sinal e alcances distintos. Não adianta, por exemplo, um smartphone enxergar a rede (o AP), mas não o contrário (comum se a potência/nível de sinal do AP for muito maior do que a do dispositivo).  A diferença de potências não implica obrigatoriamente em não alcance ou visibilidade, mas também em diferentes velocidades de transmissão dependendo do sentido da comunicação. Isto está ilustrado na figura 4.


figura 04 – dispositivos heterogêneos, alcances distintos – como resolver?

Há três abordagens para lidar com esta assimetria:

  1. Suponha que a ligação entre o AP e o dispositivo móvel será inerentemente assimétrica com mais tráfego que flui do AP para o dispositivo. Esta abordagem assume que as taxas de dados possam ser diferentes, com uma maior a velocidade de download e menor velocidade de upload. Esta abordagem maximiza a utilização dos APs permitindo-lhes trabalhar à potência máxima, para cobrir uma superfície maior. Isso é ainda melhor quando é usada a comunicação no padrão 802.11n, em conjunto com sistemas de múltiplas antenas (MIMO), pois permite que clientes recebam boas velocidades de download a uma distância maior do AP, mantendo razoáveis ​​taxas de upload.
  2. Levar em consideração a assimetria de potência no estudo do local e dimensionar os níveis de sinal e relação sinal ruído (interferências) da comunicação entre os APs e os dispositivos. É um dimensionamento complexo, mas garantirá o fluxo de dados necessário
  3. Dimensionar a potência de transmissão dos APs pelo cenário de pior caso, removendo a assimetria de potência. Esta é a situação mais simples, mas a reduzida potência de transmissão do AP vai aumentar o número de pontos de acesso necessários para cobrir a mesma área.
Independentemente da estratégia de potência de transmissão escolhida, não pode ser esquecido que o local deve ser estudado de duas formas, cheio e vazio. Entre 10 e 15 dBm podem ser perdidos por conta da interferência ou absorção de sinal causado pela presença das pessoas.

Distribuição dos APs
Como planejar a distribuição dos APs ao longo do estádio? Foi utilizada a segmentação em áreas triangulares, semelhantes a gomos de uma fruta, usando antenas altamente unidirecionais.

figura 05 – exemplo de uma cobertura direcional em uma sessão de assentos do estádio

Esta abordagem utiliza os lugares que estão disponíveis para pendurar as antenas e APs e também permite um fácil planejamento de canais de rádio. Assim se minimiza interferências dos canais de rádio de um AP com o outro, uma vez que todas as células estão lado a lado. O planejamento de canais é simplificado e sobreposição de células e interferência de canaois são facilmente gerenciados.

Os setores triangulares permitem um pouco de sobreposição na sua base. Não se deve preocupar com as aparentes lacunas vazias no vértice dos triângulos. Antenas altamente direcionais não são emissores perfeitos. Assim os espaços laterais próximos e contíguos também terão cobertura de sinal, não havendo uma real lacuna.
Um projeto mais refinado pode levar em conta os diferentes níveis do local (anéis do estádio). Para grandes locais desta segmentação deve ser repetida para cada “gomo” do estádio (análogo a um gomo de mexerica/tangerina/bergamota – dependendo do estado que nasceu o leitor) .

figura 06 – exemplo de uma cobertura direcional em múltiplos níveis em uma sessão de assentos do estádio


A distribuição das antenas deve assegurar que, na base dos triângulos a relação sinal-ruído (SNR) é suficientemente baixa e nível de sinal (RSSI) suficientemente alto para garantir a desejada taxa mínima de transferência para os clientes Wi-Fi. Esta taxa é compartilhada entre todos os dispositivos conectados. Garantir 54Mbps nestes pontos não garante que os dispositivos contados serão capazes de baixar conteúdo a 54Mbps. Existem outras considerações  e cálculos de tráfego  com base no mínimo desejado a serem feitos e posteriormente discutidos. O importante neste momento é que ao dimensionar o tamanho das células devem ser levados em conta:

• O SNR (relação sinal ruído) e RSSI (força do sinal) para garantir a taxa de transmissão mínima.
• O número de usuários por célula para garantir a taxa mínima de download por usuário.


Segmentação da rede, uso de VLANs
Relembrando o conceito de VLAN : segmentos isolados na rede que compartilham o mesmo meio físico (cabo ou rádio), criados com o intuito de minimizar tráfegos desnecessários entre os usuários ou mesmo separar grupos de usuários por razões de segurança.


Como a quantidade de usuários que podem se conectar a uma rede Wi-Fi em um estádio é enorme, o ambiente deve ser cuidadosamente projetado para encontrar um equilíbrio entre tamanho da VLAN, gerenciamento e escalabilidade. VLANs devem ser mantidas pequenas em tamanho para permitir a escalabilidade, facilidade de gerenciamento e proteger o ambiente Wi-Fi de mensagens de “broadcast” (que são enviadas a TODOS os usuários da rede). Uma VLAN pequena gera menos tráfego de broadcast, o que, por sua vez liberta a largura de banda para outros tipos de tráfego. No caso particular de uma rede Wi-Fi, o tráfego de broadcast não só consome largura de banda, mas também consome tempo de antena. Tráfego de broadcast em Wi-Fi é enviado à taxa mínima, o que significa que pequenas quantidades de tráfego de broadcast podem consumir grade tempo de antena, pois são transmitidos lentamente (natureza do pacote de broadcast).


figura 07 – exemplo de uso de VLANs para segmentar uma rede – um meio físico, várias rede lógicas



Um ambiente com centenas de VLANs não é desejável devido a dificuldades de gerenciamento que pode ocasionar. De um modo geral, um número compreendido entre 100 e 200 nós em uma VLAN é considerado um valor seguro. Um ambiente de alta densidade pode exigir uso de centenas de VLANs. No entanto, isto não é desejável do ponto de vista da gestão.

A fim de equilibrar as duas tendências é desejável conceber VLANs com mais de 200 nós. Redes contendo VLANs de 1000 ou mais nós podem ser projetadas com as ferramentas certas:

• Tráfego de broadcast deve ser impedido de atingir todos os dispositivos na VLAN
• Tráfego de broadcast deve ser limitado, a fim de evitar o consumo de uma quantidade substancial de tempo de antena.

Diminui o impacto do tráfico de broadcast no consumo de tempo de antena a capacidade dos APs da Enterasys de enviar broadcast não na taxa mínimo de dados possível, mas sim na velocidade mínima dos clientes conectados. Assim o tempo de antena e consumo de outros protocolos de transmissão também é reduzida.
A maioria dos aplicativos neste tipo de local não necessita de tráfego “peer to peer” (ponto a ponto ou cliente a cliente). Uma vez que a maioria do tráfego usará serviços centralizados como streaming e baseado na Internet, tráfego entre os dispositivos móveis podem ser limitados ou bloqueados, reduzindo ainda mais a quantidade de transmissão na rede e nas VLANs.
Fazendo uso desses recursos, viabiliza uso de VLANs com até 1000 usuários (domínio de broadcast) que permite manter mínimo número de VLANs nessa implantação, dentro de um número administrável.

Premissas importantes utilizadas

Roaming
As pessoas não se deslocam muito em salas de concerto ou estádios de futebol. E quando o fazem tendem a ficar no mesmo andar ou local. Se passar de um andar para outro provavelmente vai interromper o sinal Wi-Fi (elevadores, escadas) para que o cliente volte a se associar no novo piso.
Este comportamento determina o projeto de Roamig. Pode ser simplificado o projeto permitindo que apenas em roaming dentro do mesmo nível. Se recurso de roaming avançado é desejado, o recurso de IAM Enterasys fornece solução eliminando a necessidade de cada cliente se reconectar e ganhar um endereço IP de cada vez que anda longe de seu assento. A transição é transparente.

Acessos concorrentes
Um fator a ser considerado a partir da experiência prática é o número de usuários ativos simultâneos por célula. Quantos usuários com cobertura Wi-Fi estarão ativos e associados a uma célula? 45% é uma boa estimativa em locais com esta característica. Isso deve ser confirmado a partir da pesquisa com o local cheio. Este foi o fator usado nos cálculos neste cenário.


Cálculo da largura de banda necessária na rede
Streaming é a aplicação mais exigente em redes sem fio. Feito o dimensionamento para suportar streaming para todos os usuários, isso garantirá suporte a maior parte das aplicações na rede.
Dispositivos com telas de até 10.1 "podem ter uma experiência de boa qualidade com resoluções entre 240p e 480p. Para isso a banda requerida será respectivamente de 300kbps e 1Mbps. Adicionando fluxo de áudio e pacotes inerentes aos protocolos , um streaming de 240p demanda  aproximadamente 400-450 kbps do meio de transmissão.
Por isso é mais seguro para planejar a rede para um pior caso de 54 Mbps e cerca de 100 usuários por rádio garantindo boa experiência ao receber streaming de240p (boa qualidade para uma tela de 4 ").

Outros cenários de planejamento são possíveis se menos usuários por célula ou menos largura de banda são aceitáveis. No outro extremo, deve-se considerar que embora mais usuários por célula ou bitrates mais elevados (melhor qualidade de vídeo) possam ser desejados, isso vai exigir velocidades maiores que 54Mbps (velocidade limite da tecnologia 802.11g). Isso ainda não pode ser usado porque exigiria dispositivos que se comunicassem no padrão 802.11n, ainda não disponíveis por todos smartphones, tablets e computadores.
Se forem necessários bitrates mais elevados, as células menores, com uma contagem de usuários menores devem ser projetadas com possível impacto no planejamento de canais e quantidade de APs.

Com o cálculo anterior, assumindo 200 usuários recebendo pelo menos 480 Kbps de conteúdo de streaming simultaneamente, deduzimos que o volume total de tráfego será de 100 Mbps por AP. Para que não exceda esta banda será necessária uma porta Ethernet de 1 Gbps para cada 10 APs.

Assumindo a regra de 45% de utilização, para prover acesso para o estádio com capacidade para 68000 pessoas são necessários no mínimo 153 APs e 16 portas Ethernet de 1 Gbps. Na implementação final acabaram sendo usados perto de 200 APs para cobrir o estádio todo, por conta de algumas coberturas em locais fechados e de acesso mais complicado.

Outro dimensionamento importante é do gerenciadorde APs WiFi, recurso importante na arquitetura da Enterasys. Estes podem ser appliances (hardware especializado) físicos ou virtuais que concentram gerenciamento de tráfego, gerenciamento dos APs, autenticação, etc. Assim para comportar a rede do Gillete Stadium são necessários pelo menos 2 controladores  (se usado um modelo gerenciador mais simples – há modelos que gerenciam até 2000 APs).


figura 8 – exemplo de gerenciador Wireless da Enterasys (appliance físico)

Resumo da Solução

  • Considerada a demanda de 300Kbps com um bom alvo para a largura de banda por usuário para fornecer uma boa experiência de broadcast.
  • Projetar a taxa mínima de transmissão por célula em torno de 300 Kbps vezes o número de usuários ativos simultâneos por célula.
  • A dimensão da célula é determinada pelo patamar de ruído máximo que suporta a taxa mínima anterior.
  • Deduzir em torno de 15dB para o RSSI (nível de sinal) teórico obtido durante o estudo do local para dar conta de ruído e absorções, fenômenos que ocorrem quando o local está cheio. No entanto, nada substitui um “site survey” verdadeiro realizado durante um evento real.
  • Setorize de fora para dentro e coloque os APs no perímetro do local.
  • Irradie o sinal para o público usando antenas direcionais. Enterasys WS-AO-DX13025 é uma boa antena para essas aplicações.
  • Projetos de domínios de broadcast podem ser feitos considerando em torno de 2000 dispositivos. Pode ser feito via VLANs ou gerenciador Wireless.
  • Reduzir o número de SSID transmitido através da integração de SSIDs existentes e utilizar ferramentas de separação de tráfego Enterasys em vez de SSIDs. SSID único simplifica o roaming e gerenciamento da rede.

figura 9 – tabela resumo com alguns dos parâmetros usados no Gillete Stadium

Conclusão

Ficou bastante claro que prover acesso WiFi na escala que a Enterasys implantou no Gillete Stadium é mais que um desafio técnico. Exige planejamento, recursos técnicos adequados e bastante sensibilidade para ajustar a solução, além dos cálculos para corretamente dimensionar cada um dos recursos. Minha experiência anterior com WiFi me permitiu entender  os conceitos deste fascinante projeto, mas fui surpreendido pela utilização de ferramentas e dispositivos que até então eu ignorava a existência. O documento que detalha o caso é mais detalhado que meu resumo comentado.

Várias das premissas utilizadas podem ser consideradas dicas para implementação de projetos de WiFi, mesmo que não sejam tão grandes como um estádio. Como exemplo cito minha descoberta da absorção do sinal de WiFi pelo corpo humano, que pode trazer sensíveis diferenças no nível de sinal, bem como o uso de antenas direcionais para cobrir seções específicas, quando me parecia mais lógico ter o sinal espalhado por todas as direções na máxima potência. Cito ainda a metodologia de cálculo para dimensionar quantidade de APs em função da aplicação, o papel de um gerenciador wireless em projetos deste porte e ainda as considerações sobre particionamento das redes para minimizar tráfego de broadcast... Apenas relembrando alguns pontos.

Estudar este caso foi uma aula para mim e garanto que toda vez que estiver em locais grandes e utilizar recurso de WiFi vou me lembrar deste exemplo. Da mesma forma quando me envolver em projetos de WiFi, independentemente do porte, lições foram aprendidas com a Enterasys que serão aplicadas.

PS:  caso você queira ler o documento original que detalha tecnicamente a solução da Enterasys clique aqui. Tem que fazer um cadastro e depois será liberado o download do documento PDF.

Outros textos de minha autoria sobre WiFi:
Enterasys viabiliza acesso WiFi para 68000 pessoas em estádio
Desembaraçando sua rede sem fio! Ufa!!
Levando sua rede sem fio para mais longe, fácil, fácil!
Levando a sua rede sem fio para mais longe ainda mais fácil!
WiFi 4.0 – quanta diferença!

6 comentários:

  1. Pena que no Brasil é difícil encontrar dispositivos necessários a um projeto dessa natureza. Por exemplo: estou montando uma rede wireless para 800 usuários e informações sobre dispositivos nessas condições são difíceis de conseguir. Portanto, só tenho a agradecer por compartilhar.

    ResponderExcluir
    Respostas
    1. Caro Lumensis a Enterasys se tornou agora EXTREME NETWORKS (nome bem apropriado). Não só ela tem equipamentos para WiFi profissional. São mais difíceis de encontrar, mas no uso mais "sério" valem a pena.

      Excluir
  2. amigo, muito bom seu artigo... eu curto bastante coisas relacionadas a redes de computadores e gostei tanto do artigo, q compartilhei seu artigo em um forum q participo, com os devidos creditos e links para seu site.. hehehe... Parabens pela riqueza de detalhes do projeto.. um abraço!

    ResponderExcluir
    Respostas
    1. Caro MAteus obrigado por suas palavras! Que legal que compartilhou (do jeito certo - com creditos e link). Depois manda o link :-) Abs

      Excluir