?Es f¨¢cil enga?ar a un benchmark?

Como muchos sabr¨¦is, el viernes aparec¨ªa un parche para 3DMark 2003 en el web de FutureMark. Junto con este parche, aparec¨ªa tambi¨¦n un documento explicando el porqu¨¦ de su aparici¨®n. En dicho documento se explicaba que tanto ATI como NVIDIA usaban ciertos trucos para interceptar los shaders del benchmark para usar unos casi id¨¦nticos, pero que permit¨ªan mejorar el rendimiento de manera notable.

La verdad es que tras ejecutar el benchmark parcheado en las Radeon 9800 Pro y GeForce FX 5900 de que dispon¨ªan, el equipo de FutureMark encontr¨® que el rendimiento disminu¨ªa en un 1,9 % y un ?24%! respectivamente. NVIDIA se ha defendido diciendo que al no formar parte del programa de desarrollo del benchmark (FutureMark's BETA Program), no hab¨ªa manera de ense?ar a los programadores c¨®mo aprovechar mejor sus GeForce FX (como hacen con los desarrolladores de juegos) y por eso se han visto obligados a interceptar las llamadas a ciertos shaders para usar los mejores para sus chips. Seg¨²n la compa?¨ªa americana, los escenarios planteados por FutureMark estaban hechos de tal manera que perjudicaban a sus tarjetas.

ATI tambi¨¦n ha reconocido el truco que usan en sus ¨²ltimos Catalyst, aunque afirma que es un tipo de optimizaci¨®n que se suele emplear en los juegos para que se ejecuten con mayor suavidad. Sin embargo, para evitar suspicacias, eliminar¨¢n estos "trucos" en posteriores versiones de los drivers Catalyst (incluso tras la publicaci¨®n del parche de FutureMark).

As¨ª que ya sab¨¦is: si quer¨¦is que las comparativas sean justas con este benchmark, descargad el parche 330 de 3DMark 2003. Pero ya sab¨¦is que no pod¨¦is confiar en un ¨²nico test para evaluar las prestaciones de dos chips gr¨¢ficos, precisamente para evitar problemas como ¨¦ste.