Não é incomum um teste provocar alguma polêmica. Ainda mais quando versa sobre placas de vídeo e feito por mim. E foi o que aconteceu na minha última coluna publicada “HIS Radeon 6950 – superando muito a AMD 6950”. Porém não foi alguma polêmica e sim uma imensa polêmica. E cabem alguns comentários preliminares. A aparente confusão não foi causada pelo último teste, da ótima HIS 6950 e sim da versão da AMD desta mesma placa que testei meses atrás.
Publiquei no final de dezembro passado, quase quatro meses atrás aqui e no FORUMPCs “Teste AMD Radeon 6950 – ótimas impressões” , que foi sucedido em meados de janeiro (três meses atrás) pelo texto “AMD 6950 – destroçando definitivamente o DIRT2”.
O que aconteceu? Apesar de eu ter feito um primeiro teste muito completo, surgiram críticas pelo fato de eu não ter testado nenhum jogo que usasse o DirectX 11. Foi feita vossa vontade e eu dediquei uma publicação inteira para a AMD 6950 com o jogo DIRT2. Missão cumprida, eu apresentei a nova placa, testei mais de 60 cenários distintos. Os textos foram bastante lidos (milhares de visitas) , twittados, votados, comentados... Assunto encerrado. Na verdade não. Uma surpresa estava reservada para meados de abril de 2011!!
Quando elaborei o texto sobre a HIS 6950, enquanto iniciava os testes, eu me lembrei da AMD 6950 e achei que seria pertinente compará-las. Afinal eram duas soluções distintas. A placa da AMD era um modelo “referência” da empresa, uma placa não comercial, usada para dar para os fabricantes um “caminho a seguir”. Já a HIS é uma placa que sofreu uma evolução de engenharia e que prometia desempenho melhor. Eu imaginava que poderia haver diferenças pequenas, entre 5% e 10% no máximo. Mas conforme os testes com a HIS foram sendo concluídos, ao compilar os dados vi diferenças muito grandes, bem acima do que imaginava.
Eu tinha dois caminhos a seguir. Publicar os resultados apenas da HIS e os leitores que fizessem cada um suas comparações ou “dar a cara para bater” e publicar comparativamente os resultados. Preferi o caminho honesto que era colocar lado a lado os resultados e ver se alguém mais compartilhava desta situação ou se poderia ajudar a explicar o porquê destas diferenças. Esperava ajuda, discussão e debate. Mas não foi só isso que aconteceu. Recebi uma saraivada de críticas muitas delas inconformadas e não muito educadas. A título de exemplo mostro alguns destes comentários:
“paulochm - Os dois testes foram feitos utilizando os mesmos drivers? Pois só assim para explicar tamanha diferença entre produtos quase iguais.”
“pclock - ...Somente 40MHz de diferença no clock não justifica um ganho tão alto. Afinal, onde está a mágica? Cochilo de uma versus mágica da outra? Vai saber neh....”
“soul_keeper - Tem algo muito errado aí nesse teste. Ou a sua HD 6950 de referência veio com problemas ou algo pode ter ocorrido nos teste. Afirmo que é impossível essa diferença de performance, mesmo a HIS caprichando em seus componentes. Formata e refaça todos os testes e de preferência use outra placa se o caso persistir.”
“nightdemon - coloca a mesma bios nas duas, seta o mesmo clock e refaz os testes
essa diferença é absurda”
“soul_keeper - Acho bom você revisar isso muito bem pq ta feio o negócio. Isso está virando piada onde eu posto. Mico total.” Soul_Keeper você republica os texto do FXREVIEW em outro local?? Bom saber!! Você cita a fonte, FXREVIEW e autor??
“montagner - Nossa! Assim como a galera fiquei bastante surpreso e desconfiado do resultado. Espero ansioso pelos testes refeitos.”
“malkv - Realmente nada explica uma diferença tão gritante de performance a não ser alguma falha na análise... No todo gostei da revisão, o único contra foi essa discrepância enorme de valores que tira a credibilidade do teste”
E por fim que me deu a luz para o caminho correto, a abordagem para resolver a situação foi o leitor eOno com seu sensato comentário:
Resumindo, abonou a metodologia , a forma que foi feito o teste e sugeriu que apenas alguns testes mais discrepantes fossem refeitos.
O curioso é que ninguém contestou os dados obtidos no teste da HIS e sim os dados do teste de 3 a 4 meses atrás da AMD 6950. Fico consternado com isso. Como ninguém reclamou destes valores antes?? A coisa mais fácil do mundo teria sido algum leitor mais interessado ter comparado o meu teste com dados obtidos no TOM’s Hardware ou algum outro site de renome. Mas ninguém fez isso na ocasião. Só agora, com os dados da HIS 6950.
Mas consternação, mágoa e emoções à parte, como os fabricantes ainda não tinham retirado as placas, eu parti para o mais sensato que era REPETIR alguns testes. Não seria possível refazer os 228 cenários apresentados originalmente, mas segui o seguinte roteiro:
3DMARK 03 – 1024x768, 1280x800, 1680x1050
3DMARK 06 – 1024x768, 1280xX800, 1680x1050
3DMARK VANTAGE – 1024x768, 1280x800, 1680x1050
3DMARK 11 – 1024x768, 1280x800, 1920x1080
CRYSIS – 1024x768 sem AA qualidades VERY HIGH e LOW
CRYSIS – 1024x768 AA 8x qualidades VERY HIGH e LOW
CRYSIS – 1280x800 sem AA qualidades VERY HIGH e LOW
CRYSIS – 1280x800 AA 8x qualidades VERY HIGH e LOW
CRYSIS – 1680x1050 sem AA qualidades VERY HIGH e LOW
CRYSIS – 1680x1050 AA 8x qualidades VERY HIGH e LOW
DIRT2 – 1024x768 sem AA qualidades VERY HIGH e VERY LOW
DIRT2 – 1024x768 AA 8x qualidades VERY HIGH e VERY LOW
DIRT2 – 1280x800 sem AA qualidades VERY HIGH e VERY LOW
DIRT2 – 1280x800 AA 8x qualidades VERY HIGH e VERY LOW
DIRT2 – 1680x1050 sem AA qualidades VERY HIGH e VERY LOW
DIRT2 – 1680x1050 AA 8x qualidades VERY HIGH e VERY LOW
No total refiz os testes de 36 cenários, para AMBAS as placas, totalizando 72 cenários distintos. Bem menos que os 228 originais, mas foram significativos para ajudar a elucidar o mistério.
Apresento agora os valores obtidos no “re-teste”, com os valores originais e os novos dados em destaque. A seguir eu farei meus comentários.
TESTANDO DE NOVO
Nas figuras abaixo, as linhas em fundo amarelo são as que correspondem aos novos testes. As linhas em fundo branco são as que contêm os dados originais do texto anterior que gerou a polêmica.
Convém ressaltar que a oscilação dos valores obtidos pela HIS em TODOS OS TESTES foram mínimos, realmente desprezíveis enquanto as oscilações dos números da AMD 6950 foram bem mais amplos.
As linhas em fundo amarelo são as que correspondem aos novos testes. A tabela acima resume 24 cenários que foram testados de novo. As linhas em fundo branco são as que contêm os dados originais do texto anterior que gerou a polêmica.
3DMARK 03,06, VANTAGE E 11
A tabela acima resume 24 cenários que foram testados de novo.
Veja que no 3DMARK03 praticamente não houve diferenças, com as vantagens da HIS oscilando entre 6% e 10%, sendo que no novo teste as diferenças a favor da HIS foram entre 6% e 8%.
No 3DMARK06 houve uma diferença dramática. A AMD recuperou neste teste quase toda a diferença na ordem de 55% que fora constatada no primeiro teste. Mas na especial resolução de 1280x800 ainda se observou 35% de diferença, enquanto em 1024x768 e 1680x1050 não passou de 1%.
No 3DMARK VANTAGE as diferenças que chegavam a 117% despencaram para valores 2%, 10% e 59%. Ainda em uma das resoluções (desta vez em 1024x768) um valor excessivamente alto (os 59%).
No 3DMARK11 o teste apontou para valores totalmente “civilizados”, com diferenças oscilando entre 6% e 7% enquanto no primeiro teste oscilavam entre 30% e 51%
E NO CRYSIS??
Aqui as coisas voltam a ficar complicadas!! Se nos testes originais as diferenças em todas as resoluções ficaram entre 7% e 13% para 1680x1050 e 1280x800, nos novos testes a AMD 6950 ficou PIOR!!! As diferenças para a HIS subiram para 36% (onde antes era 9%)! Em 1024x768 as coisas ficaram ainda mais confusas! Diferenças que eram antes entre 15% e 38% nos novos testes ficaram entre 1% e 41%!!
E NO DIRT2?
De forma geral ao fazer de novo os testes em todos os casos os números obtidos pela AMD 6950 melhoraram em relação aos primeiros testes. Se antes havia variação entre 59% a 174%, agora obtive diferenças entre 37% e 60% e um único caso que a diferença foi de 140%.
CONCLUSÕES
Antes de formular minha conclusão (cristalina aos meus olhos) eu quero relembrar alguns pontos importantes do teste feito pela segunda vez. Antes que seja apontada a metodologia como responsável quero frisar que os dados obtidos pela segunda vez da placa HIS 6950 foram praticamente idênticos ao do primeiro teste. Nos 3DMARK as diferenças nos índices nunca chegaram a míseros 10 ou20 pontos (em índices representados por números de alguns milhares) enquanto nos testes dos jogos, os “frames por segundo” (fps) variaram 2 ou 3 para cima ou para baixo no máximo. Assim a forma de coletar estes dados não justifica as variações da placa da AMD.
Os números obtidos pela AMD 6950 foram CLARAMENTE ERRÁTICOS, ou seja, apresentaram variações para mais (em alguns casos) e para menos (em outros casos) de uma forma aparentemente sem sentido. Isso denota um comportamento variado da placa na mesma situação. A HIS se comportou exatamente ao contrário, ou seja, apresentou variações mínimas (desprezíveis nos dois testes). A AMD 6950 foi mais rápida em vários testes e mais lenta em outros testes.
Assim eu atribuo como causa da POLÊMICA e dos resultados divergentes, em ambos os testes, a um DEFEITO DE FABRICAÇÃO deste exemplar da AMD 6950 que me foi emprestada para testes. E eu NÃO TIVE como perceber isso no primeiro teste, pois não tinha base de comparação. Exatamente o primeiro teste que teve dezenas de comentários elogiando a placa, elogiando o teste, vários retwetts, etc.
Quando se tem base de comparação fica tudo mais claro. O teste da HIS 6950 que foi tão crucificado, zombado, que chegou a estar em certo momento com -6 votos (saldo de 6 votos negativos) está comprovadamente correto. Nada a mudar nos dados da HIS 6950.
Vocês não sabiam, mas eu DEVOLVI uma placa HIS 6970 para o fabricante, pois eu ia originalmente o teste comparando HIS 6950 e HIS 6970. Assim os leitores poderiam comparar diferença de desempenho e diferença de preço entre placas “próximas” e saber qual seria mais adequada para seus bolsos. Porém a HIS 6970 estava sendo EM TODOS OS TESTES mais LENTA que a HIS 6950. Se já foi o fuzuê que foi com esta comparação com a AMD 6950, imaginem a REVOLUÇÃO que ocorreria se eu publicasse testes com a 6970 mais lenta... E foi este meu azar. Tivesse dado certo o teste das duas placas da HIS esta polêmica não teria acontecido.
E a CONCLUSÃO da CONCLUSÃO é que houve TRÊS grandes responsáveis pela fuzarca que aconteceu neste teste : a AMD 6950 que está definitivamente com problema de hardware, EU MESMO por não ter percebido isso e não ter feito a infeliz comparação e por fim TODOS OS LEITORES que aplaudiram e concordaram com os resultados do primeiro teste, pois se lá atrás isso tivesse sido descoberto (por mim ou pelos leitores) a polêmica teria sido evitada.
Mas querem saber... No final até que foi bom. Gerou confusão , divergência, “tiroteio”, ofensas para lá e para cá e me fez RETESTAR as placas de escrever este segundo texto com o “mea culpa”, mas divindo com a placa e com os leitores!
Nenhum comentário:
Postar um comentário