Esta es la cuestión que planteaba Kath Straub en el UI Design Newsletter del pasado mayo, en referencia al número de usuarios necesarios para llevar a cabo un test de usabilidad. Y, por supuesto, explica por qué esa es una pregunta equivocada; la causa es que el número de usuarios no es el factor más importante en la productividad de los tests.
Por supuesto, la pregunta "¿cuántos hacen falta?" está siempre sobre la mesa en los debates sobre tests de usuario. Es una cuestión importante ya que los participantes en los tests de usuario son habitualmente un recurso caro (tanto económicamente como en tiempo). Es entonces cuando aparece habitualmente el mágico número de 5 usuarios propuesto por Nielsen. ¿Qué tendrán esas cifras tan concretas que hace que las recordemos tan fácilmente?
Lo importante no es el número de usuarios, sino…
Sin embargo, en el CHI 2007, dos autores (Lindgaard y Chattratichart) publicaron un artículo en que afirmaban que el mayor problema a la hora de responder esa cuestión es que "cuántos usuarios" es una manera errónea de enfocar el debate. A la hora de descubrir las diferencias entre el modelo del sitio/aplicación y el modelo mental del usuario (el verdadero objetivo del testeo con usuarios), el factor crítico es el número de tareas que los participantes intentan, no cuántos participantes lo hacen.
… el número de tareas
Para apoyar su afirmación, analizaron de nuevo los datos obtenidos en un estudio anterior de 2003, en el que 9 equipos experimentados realizaron tests de usuario de modo independiente sobre el mismo sitio web. Su conclusión fue que no hubo una correlación fiable entre el número de usuarios y el número de problemas detectados, pero sí la hubo entre el número de tareas evaluadas y el número de problemas detectados.
En resumen, a igualdad de otros factores (por ejemplo, la calidad del reclutamiento), Lindgaard y Chattratichart afirman que la mejor estimación de la productividad de un test de usuarios la da el número de tareas que éstos intentan completar, y no el número de participantes que intentan completarlas.
Por tanto, a la hora de plantear un estudio con usuarios, antes de preguntarnos "¿cuántos usuarios necesitamos?", quizá deberíamos preguntarnos "¿cuántas tareas vamos a probar?".