Un message a été posé pour expliquer brièvement ce qu'est un test A/B par un grand modo.
Ce qui n'est pas tout à fait exprimé clairement dans ce message mais qui est une des conditions de leurs tests c'est qu'il est nécessaire que personne ne soit informé parce qu'ils n'ont pas les outils pour traiter et interpréter les résultats du test avec information préalable. (ni pour informer tout le monde d'ailleurs)
De même on peut se sentir discriminé suivant qu'on fasse partie du test ou pas (le test A/B fait que, de fait, des joueurs sont aussi testé sans les nouveautés.) mais il faut bien évaluer les choses si on veut avancer....
Si on "teste" l'ensemble des joueurs, ça ne s'appelle plus un test mais une mise en application.
La méthodologie du test, du sondage d'opinion ou de l'évaluation d'un état des lieux fait partie des enseignements en histoire géo et en biologie (en science éco, en mathématiques, en physique etc) au collège et au lycée (du moins c'était le cas à mon époque). N'oublions pas à quoi sert un test et comment ça se construit.
Et même si par principe un test est le plus souvent d'une qualité médiocre dans l'analyse des résultats, limités par la méthode même du test, on ne peut malheureusement pas demander à des informaticiens de prendre en compte des choses qui ne rentre pas dans le mode binaire du 1 et du 0 (déjà qu'on demande aux spécialistes en sciences humaines de faire rentrer tout ça dans des cases alors que ça n'y rentre définitivement pas........ )
(par exemple lancer un test sur le PO/MO en plein évent est soit le résultat d'un travail d'une grande précision et de choix profondément réfléchis, soit une maladresse qui rend le test illisible parce que les quêtes qu'on enchaine viennent fortement modifier la manière de jouer, soit, pire encore........ une maladresse qui ne peut que rester déniée par le besoin de croire que le test est parfait.)
Que voulez vous, le "ça dépend ça dépasse" a fait rire tout le monde à l'époque du "Père noël est une ordure" mais trop peu en ont retenu le sens.
Harley, je n'ai pas une très longue expérience de FOE comme beaucoup peuvent l'avoir ici mais je pense que faire un test sur un seul monde ne serait pas représentatif de l'ensemble des joueurs parce que chaque monde n'est pas l'identique des autres.
Par exemple sur W il n'y a que des joueurs avec une cité de moins d'un an. soit de tout nouveaux joueurs soit des joueurs qui y ont ouvert leur.....heu.... 23eme cité.
Je caricature un peu trop mais ce n'est pas la même chose que sur les premiers mondes. Certains monde me semblent par ailleurs être en grande partie constitués de guilde "sans contraintes" pour cités inactives.
Et puis peut être qu'ils ont fait le choix de tester sur un corpus de joueurs dans son ensemble (sur tous ses mondes en même temps)
Le plus représentatif c'est bien de faire quelques catégories de joueurs et d'en tirer au hasard un peu partout pour avoir un "échantillon représentatif". C'est imparfait mais c'est une des méthodes les moins pires.
Rien n'est parfait, tout est toujours perfectible, un test n'est pas fait pour être équitable dans sa mise en place, il ne l'est que par le tirage au sort des personnes testées. ce n'est pas le même registre.
En tous cas, j'en fais partie et c'est bien pratique mais je n'ai pas vu une seule pub
