Commentaires pour le classement Gallimard

Pour préserver la clarté du classement, qui va nécessiter plusieurs post et encore quelques jours de travail, je suggère de poster les commentaires sur le classement ou analyses associées ici (en cas de besoin, ces commentaires pourront toujours être remis en fin de sujet classement quand je l'aurai terminé).

Sur le classement en lui-même, j'en suis à peu près au tiers (ça prend beaucoup de temps à cause de la méthode que j'utilise). Je posterai tout d'un coup quand j'aurai terminé (il faut que je vérifie la distribution des notes finales tout à la fin).

J'ai lu un peu tout ça.
Pas trop d'accord avec toute cette histoire comme quoi l'aspect littéraire prime sur l'aspect ludique. Les 2 sont complémentaires en fait.

Et puis j'avais pas vu que les critères du classement était par ordre d'importance.
Le sentiment de pouvoir faire des choix c'est l'essence même d'un livre jeu , et il est relégué dans les derniers critères. C'est vraiment crucial dans un livre jeu le fait de faire des choix, ça aurait du être dans les tous premier.
et un truc d'importance assez moindre comme le charisme du personnage principal est en premier. J'ai été un peu surpris.

Je sais pas trop si l'attente vis à vis des livres jeux est similaire à celle d'un roman. Les livres jeux qui ont un système de jeu trop pourri ou qui sont trop linéaires sont souvent assez décriés. Le tome 1 de Loup ardent est un parfait exemple de ce que j'essaie de démontrer, malgré un bon aspect littéraire le livre est plombé par sa linéarité et son système de combat moisi, et c'est pas que moi qui le dit.
Et les séries ou les livres les plus aimés ont toujours un aspect ludique au minimum correct quand même.

En fait le truc qui fait dire que l'aspect littéraire est plus important c'est que un bon scénario peut rattraper quelque peu un système de jeu pourri, ou un manque de choix, car on pourra toujours zapper l'aspect ludique et lire le livre comme un roman.
L'inverse est pas possible car avec une histoire archi nulle on peut plus rien tirer du livre, quelque soit l'aspect ludique.

Mais c'est pas suffisant pour dire que l'aspect ludique est moins important. Il n'y a pas de bon livre jeu sans un aspect ludique soigné derrière, on crois peut être que c'est moins important mais on s'en rend peut être pas compte. après tout l'histoire d'un livre c'est ce qu'on voit en premier, tout le reste, surtout la possibilité de faire des choix, la structure du livre, c'est la mécanique conçut par l'auteur pour nous faire profiter du livre. on l'utilise, mais sans y faire vraiment attention, car on est pris par l'histoire. On en profite en fait mais sans l'estimer à sa juste valeur, à la fin on retient juste un bon livre car son scénario son ambiance etc, était superbe mais on ne sait pas estimer justement l'aspect ludique qui servait de base sans qu'on s'en rende compte.
Car sinon sans ça on aurait eu quoi ? un banal livre d'aventure au lieu d'un bon livre jeu.

Donc voilà ma conclusion qui te contredit un peu désolé : l'aspect jeu est capital , aussi important que l'aspect littéraire. Et les gens qui lisent les livres jeux aiment aussi un bon aspect ludique, c'est loin d'être secondaire. Car sinon pourquoi ils ne liraient pas des romans tout simplement ?

C'est un gros travail que je trouve très intéressant, Jareth, même si je n'en saisi pas toutes les subtilités ou mécanismes. J'ai du mal à comprendre en fait comment on peut obtenir des résultats interprétables avec un si faible échantillon de juges, comme tu tle dis toi-même.

Par ex je n'ai pas vraiment compris comment tu avais fait pour tirer un axe horizontal qualités littéraires et vertical qualité techno-ludiques avec nos représentations cognitives.

Je suis d'accord avec Wor sur certains points, comme celui-là :
"un système de jeu pourri, ou un manque de choix, car on pourra toujours zapper l'aspect ludique et lire le livre comme un roman.
L'inverse est pas possible car avec une histoire archi nulle on peut plus rien tirer du livre, quelque soit l'aspect ludique."

Il faut préciser que certains lecteurs ne jouent jamais avec les ldvelhs et ne font que les lire.

Pour la perception du PJ, je pense que les lecteurs l'on compris de différentes façons, d'où le flou des réponses :
Certains l'ont interprété au pied de la lettre, c'est à dire le degré de personnalisation du héros, donc savoir si il est typé (LS, Loup Ardent, etc...) ou plutôt transparent (DFs).
D'autres comme moi ont inclus dans leur notation sur ce critère les disciplines/compétences de départ (comme dans la Vengeance des Déomns ou l'Arpenteur de la Lune). Dans ce cas cela concerne bien l'aspect techno-ludique et non narratif. Je pense donc que ce critère du PJ est à cheval sur les 2 axes.

Bravo en tout cas pour partager ces résultats, j'ai hâte de lire la suite...

Je trouve les arguments de Wor tout à fait pertinents: effectivement une des limites de l'analyse statistique, même bien faite, de jugements humains est que les données de départ sont sensibles à certains facteurs tels que l'effet "on remarque X quand il pose problème mais pas quand il fonctionne bien".

C'est d'autant plus plausible que j'imagine facilement, par exemple, un lecteur emporté par une aventure épique donner des points à la partie histoire pour son rythme haletant en ne remarquant pas que celui-ci tient tout autant à la fluidité du système bien pensé employé pour les nombreux combats.

Je n'ai pas le même niveau en statistiques que Sa Goblinitude, mais ne serait-il pas possible d'effectuer une analyse du style:
- séparer les échantillons en deux catégories, pour les bonnes et mauvaises notes sur un des axes,
- répéter l'analyse de départ indépendamment sur les deux échantillons,
- regarder si la division ne change pas grand chose au résultat ou s'il apparaît une divergence statistiquement notable entre les conclusions des deux échantillons.

Dans le dernier cas, on aurait mis en évidence une perception faussée au départ de l'axe testé (ex: si le mauvais échantillon donne à l'axe un score bien important que le bon échantillon, on est en plein dans l'effet soupçonné).

Après, à vue de nez, la grosse difficulté est que diviser diminue la taille des échantillons de travail au risque de ne plus en avoir assez pour une mesure crédible... mais si c'est jouable, il y a peut-être moyen de corriger ou au minimum confirmer/infirmer ces possibles biais.

J'avais un peu conscience du caractère "osé" du fait d'avancer que les aspects narratifs sont plus importants que les aspects ludiques stricto sensu d'un livre-jeu dans son appréciation globale. Comme vos réponses sont bien détaillées, je vais tâcher d'y répondre au mieux dans l'ordre de lecture.


@ Wor :

- Je suis d'accord sur le fait que l'aspect littéraire et l'aspect ludique sont complémentaires : les deux concourent à la réussite de l'oeuvre ; quand je dit que l'aspect ludique est secondaire, c'est au sens "pur" du terme (en deuxième position) et non au sens imagé (négligeable) ; je n'incite personne à zapper la qualité ludique de son oeuvre, je souligne plutôt que l'aspect littéraire sera le plus discriminant dans l'appréciation.
Je pense que l'un des pivots de notre discussion repose sur cette notion d'appréciation de l'oeuvre : je ne regarde rien du côté de la recette, mais tout du côté des goûteurs. La qualité d'un plat tient-elle à sa présentation ? Non évidemment a-t-on envie de répondre, et on aura raison. Pourtant si on sert un plat moyen dans une jolie assiette bien coquette et un plat meilleur mais d'un aspect peu folichon, rien ne dit que la meilleure recette l'emportera. Ainsi quand je dis que les attentes des lecteurs de livres-jeux sont proches de celles de lecteurs de roman, je pourrais dire de même que les attentes de clients de restaurant sont des attentes de gens qui veulent avant tout être bien reçus (on dit toujours que c'est le cadre qui fait le succès d'un restaurant). La qualité du plat (qui est pourtant ce pourquoi on vient a priori !) devient secondaire, c'est-a-dire important quand même, mais moins crucial. Je ne sais pas si l'image est bien choisie (car mes histoires de restaurant ne sont pas du tout prouvées), mais j'espère que ça permettra de mieux situer ce qui est observé.
Ce que tu dis à la fin de ton message Wor me semble perspicace : on ne fait probablement pas trop attention aux règles, choix, et toute cette structure (du moins on y fait moins attention que ce que l'on pense). Du coup on va juger surtout l'histoire, l'univers, etc... C'est bien dans ce sens que je qualifie les attentes (pas forcément consciente, bien que les tableaux montrent plutôt que si) des lecteurs, c'est-à-dire l'endroit de leur focus principal.

-Les critères de classement n'étaient pas par ordre d'importance, tu avais bien compris. L'ordre d'importance que j'ai demandé aux forumers était un autre sujet indépendant (je leur avais présenté les critères dans le même ordre hasardeux en leur demandant de les classer, mais à l'issue de ce classement, j'ai laissé mon ordre arbitraire pour le sujet des jugements afin de ne pas influencer les juges ; l'ordre dans lequel tu as voté était donc un ordre tout-à-fait quelconque).

- Dire que tous les livres appréciés ont de bonnes appréciations ludiques derrières n'est pas forcément vrai. Par exemple, La Créature venue du Chaos s'est faite démolir sur plusieurs des aspects ludiques, c'est même elle qui a l'une des notes les plus basses des livres que j'ai finis (de mémoire la plus basse, mais je peux me tromper, disons dans les trois dernières). Dit autrement, rationnellement du point de vue d'ensemble des juges, on peut dire objectivement que c'est une grosse daube ludique (par rapport à tous les autres livres). D'un autre côté, elle a des super notes sur l'histoire, l'univers, etc... Et que constate-t-on ? En France comme aux Etats-Unis, on l'évalue comme un chef-d'oeuvre.
Prenons l'exemple contraire : Le Marais aux Scorpions. Du point de vue narratif jugé moyen, il a l'une des meilleures notes sur les aspects ludiques : grande richesse de choix, bon équilibre, 3 jeux en un, etc... Eh bien lui n'est pas du tout jugé comme chef-d'oeuvre sur les forums, au mieux comme plutôt pas mal.
Pour la majorité des livres, je constate que les notes de narration et de technique ludique sont proches, donc pas grand chose à en conclure. Mais quand il y a un écart, il me semble avec ma connaissance des réputations des livres que c'est dans leur intérêt que ce soit la narration qui soit bien.


@ Vic :

- Le nombre de juges est faible (6 pour la classification brute des 10 dimensions, 7 pour le graphique) mais c'est déjà pas trop mal finalement car il semble que la représentativité soit satisfaisante ainsi que les consensus pour lesquels je n'ai pas trop de mal même après harmonisation des notes (j'en reparlerai plus tard).
Mis à part ça, pour la classification des dimensions comme pour le graphique, il faut garder en tête que j'ai rentré pour chaque juge plusieurs votes de livres. L'échantillon est ainsi beaucoup plus important. Par exemple pour l'analyse factorielle, j'ai ainsi rentré environ 300 jeux de 10 notes (7x39, car je me suis calqué sur le juge qui avait le moins de notes au-dessus de 15, soit 39, et j'ai eu 7 juges pour ça). Or une telle analyse pour 10 critères est jugée acceptable à partir de 50 jeux de données, et fiable au-delà de 100.
En toute honnêteté intellectuelle, je dirai que l'échantillon n'est pas idéal, mais qu'il est assez satisfaisant.

- Pour les axes, il s'agit d'une technique complexe de statistiques qui s'appelle l'analyse factorielle en composantes principales (avec rotation varimax). Pour essayer d'expliquer au plus simple, je vais prendre l'exemple que tout le monde connaît des notes scolaires. Si on calcule la différence moyenne entre note de maths et de physique, entre note de maths et de sport, entre note de physique et de sport d'une centaine d'élèves d'un collège, on obtiendra un indice de "distances" entre ces trois matières. Il y a fort à parier que la distance maths-physique sera plus petite que la distance maths-sport. On peut imaginer visualiser voire tracer ces distance sur une feuille.
L'analyse factorielle a calculé ces distances (en bien mieux qu'une simple différence numérique, il s'agit de variances) entre chacun de mes dix critères. Elle crée alors une cartographie en 1, 2, 3, ..., 10 dimensions (10 cartographies différentes), donc avec 1, 2, 3, ... ou 10 axes. Elle détermine ensuite (selon plusieurs critères) quelle est la carte la plus intéressante du point de vue puissance explicative / simplicité. Dans notre cas c'est 2 dimensions, avec 2 axes qui est tombé. Le programme me sort alors la "carte" des critères, ainsi que les axes placés au mieux pour coller au mieux aux paquets de critères (il fait "tourner" les axes jusqu'à la position optimale, c'est la rotation varimax). Je vous ai posté une simple capture d'écran.

- Pour les PJ, oui j'ai été un peu flou, mea culpa. Je m'intéresse pas mal à ce critère assez énigmatique, d'où un petit sujet lancé il y a peu : se visualise-t-on à l'intérieur du héros ? Sinon se voit-on soi ou le héros tel qu'il est décrit ? La variabilité des réponses lors de ces débats (on en avait discuté aussi ailleurs) montre qu'il y a un consensus faible sur ce que l'on fait de ce fameux personnage incarné. Je pense que c'est de manière générale le critère pour lequel on a l'utilisation la plus personnelle.


@ Lous :

Je vais suivre ta suggestion, et comparer les livres jugés bons d'un côté et les livres jugés mauvais de l'autre.
Mais pour l'effectuer, je devrai utiliser un critère externe à l'étude, par exemple les moyennes des critiques dans le sujet critiques du forum (car sinon je tourne en rond si j'utilise mes propres données puisque mes notes donnent mes moyennes, donc mon classement).
Ainsi la division devrait s'effectuer selon ce critère externe (car sinon mes livres "bons" seront automatiquement bons partout, et les "mauvais" mauvais partout)

En fait je pensais au contraire que le critère de division devait être spécifiquement la note de l'axe testé (après je ne dit pas que ce que tu propose n'est pas intéressant aussi, mais j'ai plus de mal à saisir le fonctionnement statistique derrière).

L'idée est que, hors "bruit statistique aléatoire", un sous-échantillon d'un groupe de départ conserve ses propriétés statistiques tant que le critère de sa sélection est parfaitement indépendant des dites propriétés testées. D'où le gout des statisticiens pour les sélections aléatoires, un critère relativement facile à mettre en œuvre et universellement indépendant.

Ici on veut au contraire utiliser cette propriété pour fausser les résultats en cas de relation cachée sélection/propriété afin de tester l'existence de la relation. Dans notre cas, l'hypothèse "le score de X est sous-évalué lorsqu'il est faible par rapport à lorsqu'il est fort" se vérifie le plus directement en sélectionnant selon "le score de X est faible/fort".

Une note globale, qui englobe plusieurs facteurs à la fois, peut mettre en valeur d'autres biais (par exemple "il y a certains axes sur lesquels on est moins regardant quand la qualité générale est haute alors qu'on ne leur pardonne rien pour un livre moyen ou médiocre") mais risque d'être moins parlant, car moins ciblé (les résultats étant alors plus noyés par la variabilité des biais de chaque individu) et décrivant des interactions plus complexes à analyser.

Ah d'accord, j'avais mal compris par rapport à quoi tu proposais une division. Je pensais "axe" au sens de "axe des notes globales" et non au sens "axe de l'une des dimensions principales" (ton message était pourtant assez clair, mea culpa !).

Du coup je visualisais une séparation mauvais/bons livres au sens global pour voir comment se distribuaient les notes de critères dans ces deux sous-cas. Ca a conduit à l'idée de regarder si les livres à bonne réputation sur le forum et ceux à mauvaise réputation étaient évalués de la même manière, indépendamment de ce ressenti qu'ils sont bons ou mauvais (l'idée derrière est que la qualité générale peut induire des bords d'attaque différents). Pour cela, je pense relancer une analyse factorielle pour chacun des deux sous-groupes (à la condition que ça fasse une échantillon suffisant).

Mais revenons à ton idée de séparer les livres sur un axe de dimension particulier.
Est-ce qu'une fois la séparation bons/mauvais faite, tu regardes dans quelle mesure il y a une différence numérique des notes globales entre les deux sous-groupes ? (auquel cas j'ai déjà de manière assez solide la réponse : la différence sera plus marquée dans le cas d'une séparation sur la dimension narrative que dans celle d'une séparation sur la dimension ludotechnique, puisque la corrélation avec la note globale est beaucoup plus puissante dans le premier cas, la variance commune est 3,2 fois plus importante ; dit autrement le cas mauvaise note globale = mauvaise note narrative est plus fréquent que le cas mauvaise note globale = mauvaise note ludique, idem en remplaçant mauvaise par bonne) Ou est-ce que tu regardes comment se répartissent les puissances explicatives des critères ? (auquel cas il est très probable que ça sera différent, puisque l'on aura "neutralisé" une dimension, un peu comme si on regardait si les gens qui mangent dans un mauvais cadre font plus attention à ce qu'ils mangent : il est très probable que oui)

En fait, j'ai dû mal à saisir précisément quelle différence formelle on chercherait à observer une fois les deux sous-groupes constitués sur un axe

Utilisons une comparaison : au bac S spécialité maths, le coefficient de maths est 3 fois plus fort que celui d'anglais. Si on sépare ceux qui ont eu des bonnes notes en maths et ceux qui ont eu des mauvaises notes, il est probable qu'on ait constitué aussi en même temps un groupe de bonne moyenne au bac et un groupe de mauvaises moyennes, du moins de manière plus fiable que si on avait fait la séparation sur l'anglais.
Dans notre cas, c'est ce résultat qui est établi : la moyenne est plus expliquée et plus discriminée par la dimension artistique que par la dimension ludique (et plusieurs observations concordent dans ce sens).

Je ne me souviens plus à l'unité près ce que donnait l'analyse factorielle, mais la première dimension (narrative) expliquait "purement" 45% de l'avis global, et la seconde (ludotechnique) 15%. Le reste est du hasard individuel ou des parts de critères non expliquées par ces deux dimensions.

Désolé je dois partir, ce qui fait de mon message un pot-pourri pas très limpide peut-être, mais n'hésite surtout pas à y répondre quand même (rhaa I'm late !)

Citation :

Par exemple, La Créature venue du Chaos s'est faite démolir sur plusieurs des aspects ludiques, c'est même elle qui a l'une des notes les plus basses des livres que j'ai finis (de mémoire la plus basse, mais je peux me tromper, disons dans les trois dernières). Dit autrement, rationnellement du point de vue d'ensemble des juges, on peut dire objectivement que c'est une grosse daube ludique (par rapport à tous les autres livres).

oula pas du tout d'accord avec ça ! rationnellement une grosse daube ludique c'est vite dit. C'est pas parce que 4 ou 5 personnes ont dit ça ( je veux dire mal noté les aspects ludiques de ce livre) que c'est une vérité absolu. regardons plus en détail :

D'abord le sentiment de pouvoir faire des choix, il a été mal noté parce que beaucoup de ces choix mènent à la mort tôt ou tard , mais il y en a pourtant des chemins différents dans ce livre, et on est bien obliger de les explorer avant de se rendre compte qu'il sont mauvais. Pour quelqu'un qui connait bien le livre oui on n'a plus l'impression de pouvoir faire des choix car on connait le bon chemin mais avant cela on en a des choix.

Le dosage de la difficulté maintenant. mal noté par les forumers parce que le livre est trop dur. Pourtant les combats de ce livre sont bien dosés, les test de chance ou d'habileté n'ont rien d'impossible etc. On peut très bien finir ce livre à la loyale alors pourquoi des notes si basse ?
En fait de manière générale comment évaluer ce concept de difficulté bien dosé ? C'est souvent le seul critère ou j'ai été embarrassé pour noter. Il faudrait mettre 10 à un livre de difficulté moyenne et baisser la note si le livre est trop dur ou trop facile ? je trouve pas vraiment ça pertinent, un livre avec un bon challenge comme la créature, ça veut pas dire que sa difficulté a été mal dosée. Elle a été très bien dosée , durement peut être mais pas mal dosée du tout.
En fait en voyant les notes des autres sur ce critère, j'avais l'impression d'un automatisme livre très difficile = hop note minimum, sans regarder plus loin.

Les règles maintenant , aussi jugé négativement: pourtant ce sont les règles des défis fantastiques qui sont pas géniales ok, mais pourtant les autres on bien mieux noté pleins d'autres défis fantastique que celui ci sans raison à mon avis car les règles sont à peu près les même pour tous les Df. En plus on a des innovations pas mal avec la créature comme le double meurtrier. Je vois pas ce qui justifie une note aussi basse pour ce livre pour des règles qui ne nuisent pas à la jouabilité.

En plus sa difficulté du à sa structure très complexe est bien un des atouts qui font de la créature un livre aussi réputé, donc je pense pas que la créature soit un bon exemple pour démolir ma théorie, il y a bien un aspect jeu particulièrement soigné qui a grandement fait sa réputation.

bon je veux pas dévier le topic sur un débat au sujet de la créature, tout ça pour dire qu'il faut pas prendre pour argent comptant les résultat de ce concours, c'est pas parce que quelques personnes jugent de la même manière tel ou tel critère que c'est une vérité absolue et qu'on peut dire que tel aspect d'un livre est rationnellement mauvais. c'est pas parce que on est nombreux a dire la même chose qu'on a forcement raison non ?
On peut pas du tout dire objectivement que la créature du chaos est mauvais point de vue ludique, on peut dire que les juges de ce concours le trouve mauvais de manière tout à fait subjective. C'est pas la même chose.

Je ne me suis pas si bien expliqué que ça, il demeure quelques flous (navré, ce n'est pas simple de communiquer ceci clairement en pur messages texte): ce que je pensais comparer dans les deux sous-groupes c'est l'importance du critère utilisé pour les séparer et non la note globale.

Un exemple plus concret devrait aider. Imaginons que nous avons un stock de boules et de cubes noirs et blancs et deux grands récipients. On rempli les deux récipients avec 1000 objets chacun de la façon suivante:
- Récipient "Non-Corrélés" -> On tire 1000 fois deux pièces, la première détermine la forme de l'objet ajouté (pile=boule, face=cube) et la seconde sa couleur (pile=blanc, face=noir).
- Récipient "Corrélés" -> On tire 1000 fois une seule pièce, sur pile on ajoute une boule blanche et sur face un cube noir.

On obtient deux mélanges avec 50% de cubes et 50% de boules, ainsi que 50% de noir et 50% de blanc, mais dans le "Non-Corrélés" la forme et la couleur sont indépendants alors que dans le "Corrélés" elles sont liées.

Un œil humain moyen aura vite fait de remarquer la différence entre les deux mélanges mais imaginons, comme c'est souvent le cas avec des exemples statistiques moins artificiels, que ce ne soit pas évident: on voudrait vérifier par un test simple s'il existe un lien entre les formes et les couleurs.

Une technique est de classer les contenus par un des deux facteurs, puis de regarder si cela influence la proportion de l'autre. Mettons qu'on classe par formes:
- Dans le récipient "Non-Corrélés", le sous-échantillon des boules est à 50% noir et à 50% blanc, de même que celui des cubes... et de même que la totalité du mélange de départ ou qu'un nombre suffisant de ses éléments tirés au hasard. Le fait que le tri n'ai pas influencé les proportions est cohérent avec des formes indépendantes des couleurs.
- Dans le récipient "Corrélés", en revanche, le sous-échantillon des boules est à 100% blanc alors que celui des cubes est à 100% noir, les deux étant différents de la proportion du mélange complet. Le fait que le tri ai perturbé les proportions indique un lien entre les formes et les couleurs.

De façon plus générale, si un critère de sélection dans un groupe modifie une de ses statistiques, cela indique que ce critère est lié à cette statistique.

Maintenant appliquons le même principe à notre cas particulier:
- on s'interroge sur d'éventuels biais de jugement du genre "on punit plus fort ce qui ne va pas qu'on ne récompense ce qui va bien" qui fausseraient l'évaluation finale de l'importance relative des critères de notation;
- cela peut se reformuler en "l'importance d'un critère de notation donné est-elle indépendante de la note obtenue pour ce critère";
- on peut facilement classer les échantillons selon leur note pour le critère;
- tu dispose d'une méthode donnant une valeur d'importance à chaque critère partant d'un échantillon donné;
- d'où: on peut séparer l'échantillon de départ en deux selon la note dans un critère et calculer pour chaque partie l'importance de ce dernier. Sauf erreur de ma part, si l'on découvre que les importances sont gravement perturbées par la division... on démontre un biais dans les jugements de départ.

Pour ton exemple de bac S, disons qu'on cherche à établir l'importance relative des maths et de l'anglais pour réussir l'examen. Bon, ici on les connait déjà puisqu'on a fixé les coefficients nous-mêmes mais mettons que non pour la démonstration.

Le jury anglais est soigneux et équilibré alors que le jury math est aigri et pressé d'en finir: le second commence sa notation à 20 et enlève des points au fur et à mesure des erreurs... mais s'il tombe sous 10, il colle directement 0 et arrête sa lecture pour passer à la copie suivante. On a donc un jury non biaisé pour l'anglais, et un jury biaisé pour les maths.

Si on utilise la subdivision par notes:
- pour l'anglais, rien à signaler, la division ne devrait pas changer grand chose;
- les moins de 10 en math, en revanche, sont notés bien plus sévèrement que les 10 et plus alors que leurs notes en anglais restent aléatoirement distribuées, d'où on devrait observer une majoration de l'importance des maths pour eux!
Résultat: plus la moyenne générale en math est faible, plus une grande partie des élèves est sous-évaluée par son jury... et plus l'importance des maths sera surévaluée par les statistiques.
Limites du système: si les notes en math et en anglais sont elles-mêmes fortement corrélées, on n'a plus de "distribution témoin" à laquelle comparer les maths et la subdivision ne causera pas de divergence. Le principe n'est donc pas capable de détecter tous les biais (par contre je pense que lorsqu'il le fait, il ne donne pas de faux-positifs).

Quand à l'effet "les gens qui mangent dans un mauvais cadre font plus attention à ce qu'ils mangent", c'est vrai qu'il cause un biais minimal de départ qui influencera les résultat (et auquel j'avoue ne pas avoir pensé avant que tu ne le relève)... mais ce handicap devrait être le même pour chaque critère, et donc si le test montre que certains sont plus ou moins faussés que d'autres ce devrait être significatif malgré tout.

C'est du moins ce qui me semble logique à priori, mais j'insiste sur le fait que je ne suis pas un statisticien émérite et qu'il est tout à fait possible qu'il y ait une erreur dans mon raisonnement qui fasse que je raconte n'importe-quoi depuis le début: auquel cas je m'excuse platement et, étant curieux de ce genre de casses-tête, serais reconnaissant à qui pourra me pointer où j'ai faux.

J'insiste aussi sur le fait que je ne suis pas trop doué pour évaluer les tailles d'échantillons nécessaires à des résultats fiables, mais que si les subdivisions donnent des groupes trop petits mon idée peut être inapplicable même si ma logique est correcte.

(HS : Désolé de répondre à chaque fois en nocturne à vos messages, j'ai une semaine de libre et j'ai des invitations sympas qui tombent tous les jours pour des apéros/soirées ce qui fait que je ne découvre vos messages qu'en rentrant ; du coup je prend aussi du retard sur mon sujet principal...)

@ Wor : Le débat que nous entretenons est complexe et rappelle celui qui a existé au début de la popularisation d'internet entre les "stylistes" et les "ergonomes" (comprendre : ceux qui prônaient l'esthétique des sites comme facteur d'attirance et de succès, et ceux qui collectaient "froidement" des données via l'observation et l'avis des utilisateurs). Les stylistes sont partis du postulat que l'appréciation d'une première page et de son contenu était subjective, hautement variable entre les individus et au fil des modes, et non mesurable. Les ergonomes ont postulé que la subjectivité était un hasard secondaire car il existait des lois générales qui seraient rendues apparentes par statistiques : les redondances majoritaires trancheraient, les fluctuations minoritaires étant considérées comme erreurs négligeables.
Résultat : les ergonomes ont conclu que l'esthétique et la subjectivité étaient un facteur de rang éloigné, les facteurs essentiels étant (notamment) la simplicité et la facilité des zones cliquables. Ceux qui ont suivi ce conseil nous sont bien connus maintenant : google, msn, ebay, etc... Des sites moches mais ultra efficaces, et qui ont eu un succès colossal. Ca peut nous paraître évident maintenant, mais ça ne l'était pas : la pillule de la subjectivité objectivement mesurable a été difficile à avaler pour certains.
Idem pour les publicités : elles sont conçues sur des études exhibant des "subjectivités" objectivement mesurables. Et mesurables en considérant que la norme (la majorité) faisait loi. Et du coup ça marche pour la majorité des gens.

Là où je veux en venir n'est pas que tu as tort, ni que je cherche à "démolir" ta théorie, mais que :
- mes résultats ne prétendent pas être la vérité d'un fonctionnement universel, ils sont un reflet du fonctionnement majoritaire, des "lois" définies par des données majoritaires
- on peut tout-à-fait admettre que des lecteurs particuliers ne suivent pas ces "lois"
- on peut tout-à-fait admettre qu'il existe des livres particuliers qui ne suivent pas non plus ces "lois"
- on peut considérer que mon échantillon n'est pas représentatif (on considérera alors que mon tableau à deux colonnes sur les importances des critères mesurées d'une part sur mon échantillon, et d'autre part sur un autre échantillon de 13 forumers dans un autre sujet, qui montre des distributions proches et jugées non différente sur le facteur "échantillon" par un test statistique, n'est pas une preuve fiable ; on rejettera alors l'ensemble des deux échantillons de l'ordre de 15 à 20 forumers pour un site qui compte une quarantaine d'actifs réguliers)
- on peut critiquer la flou des définitions des critères ; c'est effectivement une limite car j'ai voulu faire simple et concis. La précision des résultats est donc celle des critères : pas d'une absolue précision, mais on comprend quand même dans l'ensemble de quoi il retourne. Il ne faut pas oublier que ça reste une étude exploratoire, et que définir des sous-critères ou lancer une analyse de définitions aurait été intéressant mais dantesque.

Pour rebondir très rapidement sur la Créature venue du Chaos, je ne dis pas que ce livre est mauvais du point de vue ludicotechnique, je dis bien qu'il est perçu comme mauvais sur cet aspect par la majorité de l'échantillon (je ne l'invente pas), et j'avance (à tort ou à raison, ça ne dépend que de l'avis de chacun, cf ci-dessus) que cet échantillon semble fiable pour affirmer que la majorité des lecteurs perçoit sûrement ce livre comme mal équilibré ludiquement. (Il n'empêche qu'il est quand même apprécié).


@ Lous : Ok je situe bien maintenant ce que tu veux dire. Ca n'a rien de n'importe quoi, c'est même une très bonne idée. Reste à définir la constitution d'un groupe "bon" et "mauvais" sur un critère. Je pense que supprimer les deux tiers centraux ([moyenne - écart-type ; moyenne + écart-type]) pour ne garder que les tiers extrêmes comme groupes bons et mauvais serait plus concluant que de simplement couper en deux groupes via la moyenne. Ca devrait laisser (à chaque fois pour chaque critère) une vingtaine de livres dans chacun des deux groupes, ce qui est suffisant pour établir un résultat de test de type oui-non il y a ou n'y a pas de différence significative entre ces deux groupes (on admet très souvent que c'est sans problème à partir d'une taille d'échantillon de 16), par rapport à la puissance explicative des autres critères (un test pour chaque), par rapport à la note générale, et par rapport à la moyenne des critiques du forum (j'ai envie de faire les onze).
On verra bien ^^

Pas de soucis, Ton Labyrinthisme: parfois il y a aussi la vraie vie dans la vie, on ne va pas t'en vouloir parce que tu t'amuse trop pour rafraichir cette page au moins toutes les 5 minutes.

Sinon, concernant le découpage des groupes: c'est toi qui t'y connais le mieux pour la représentativité d'échantillons, je ne vois rien à redire à ta suggestion et te fait confiance.

Hop, je reviens de la mise à jour de l'autre fil: un sacré travail d'analyse, Ton Altesse. Ces détails sont très intéressants pour mieux comprendre et nuancer les premières données que tu nous avait fourni.

Sinon, pour ceux qui auraient été désappointés du peu d'importance de certains axes, j'ai envie d'apporter une précision: ce type de notation indique les gouts de la population de ses juges plutôt qu'elle n'est une donnée absolue.

Cela n'enlève rien à son intérêt, mais il faut bien comprendre ce de quoi on parle: un axe peu représenté ici n'est pas forcement mauvais dans l'absolu "artistiquement parlant" mais peut simplement être peu populaire parmi les amateurs de livres-jeu... sachant qu'en plus le média influence les populations attirées.

Ainsi, déjà, dans "livre-jeu" il y a livre, qui indique par exemple que le type de joueur très centré sur les règles et l'action qu'on voit cliquer "accepter" sur toutes ses quêtes de MMO sans lire un seul mot de leur texte risque de passer son chemin. Ça ne veut pas dire qu'il ne reste pas des joueurs aimant la lecture, la découverte et l'immersion mais aussi très centrés sur les règles et l'action, seulement il n'est pas surprenant qu'ils soient moins représentés ici qu'ailleurs.

On peut aussi remarquer comme, historiquement, le genre à été très marqué par le trio medfan/sf/fantastique, lequel parle beaucoup aux amateurs de découverte de mondes. Ces origines ont sans aucun doute un poids important dans les résultats qui ressortent.

Autrement dit, la notation est:
- une bonne indication pour choisir quoi lire (sans garantie vu que vos goûts personnels peuvent dévier de la moyenne, mais les probabilités sont de votre côté et les notes extrêmes ont quand même de bonnes chances d'être parlantes quand à la qualité absolue);
- une bonne "étude de marché" pour les créateurs d'AVH (si vous voulez plaire au plus grand nombre, maintenant vous savez sur quoi vous concentrer).

Elle n'est pas en revanche un jugement de valeur générale. Si les mauvais livres seront mal notés, un bon livre d'un style peu populaire risque de l'être aussi. (Donc, amis créateurs d'AVH qui ne vous retrouvez pas dans les chiffres, ne vous sentez pas obligés de vous y plier... mais sachez que si vous ne le faites pas vous risquez d'avoir des fans moins nombreux.)

Voila, ceci ne remet rien en cause du travail du roi des gobs mais au vu de certaines réactions j'avais envie de le noter.

A part ça, j'ai eu un petit plaisir à voir comme, dans les dimensions littéraires, le fond l'emporte sur la forme. Sans être contre la belle écriture, loin s'en faut, je suis ravi de voir confirmé que "se donner un genre" avec un style précieux sans rien avoir à dire avec tous ses jolis mots ne trompe pas le lecteur moyen.

J'espère que Jareth nous fera un résumé synthétique de tout ça, car c'est un peu dur de s'y retrouver tant il y a de nombreux aspects étudiés.

Content aussi que le fond l'emporte sur la forme.

Je ressent aussi "instinctivement" qu'un ldvleh raté sur les règles ou la difficulté reçoive sur ces aspects du "mauvais karma". J'ai l'impression que cela ne fait pas gagner énormément de points à un ldvelh, mais que ça peut en faire perdre pas mal en cas de loupé.
J'espère que ça encouragera les auteurs d'AVH à être vigilants sur les règles qu'ils proposent.

Par ex, l'une des AVHs en compétition cette année m'avait vraiment beaucoup plu de part son ambiance (exploration de pyramide dans un univers à la Conan/Cthulhu), mais a probablement raté le podium des Yaz à cause de ses règles qui rendaient l'AVH quasi injouable.
C'est très frustrant dans un cas pareil car cela gâche vraiment les autres aspects positifs à côté.

> Je ressent aussi "instinctivement" qu'un ldvleh raté sur les règles ou
> la difficulté reçoive sur ces aspects du "mauvais karma".

C'est très probable. Imaginons un joueur qui n'est pas très porté sur les règles ni le challenge:
- Si les règles et le challenge sont bons, vu qu'il n'y est pas très sensible, il ne va pas donner beaucoup de points en plus.
- Si les règles et le challenge sont mauvais, il risque d'être bloqué sans plus pouvoir profiter de tout le reste... qui plus est en étant puni par un aspect qui lui semble mineur, pour un maximum de frustration. La sanction risque d'être impitoyable...

La publication des moyennes de chaque livre est très intéressante et effectivement différente de la section critique. On voit que des livres pourtant très appréciés n'obtiennent qu'une moyenne générale de 12-13 (le talisman, la créature), preuve que tous les goûts sont dans la nature. Un peu surpris par les deux premièrs quand même, bien que la Vengeance soit un très bon opus, ce ne sont pas les plus "médiatiques" loin de là.

En effet, il y a peu de différence entre la note "littéraire" et la note "technique" hormis pour les Loup Ardent, où cela se justifie pleinement. Il y a quand même quelques résultats étonnants, ainsi le Manoir de l'Enfer obtient 15 en note technique et la Créature venue du Chaos 8, pourtant ce sont les mêmes modèles globalement.

La Créature venue du Chaos a peut-être du se prendre sa difficulté en pleine poire avec la note technique. Cela pose en fait le problème des OTP. Si ils sont très intelligents et justifiés par leur concept, le public se prend au jeu et généralement y adhère, avec le Manoir de l'Enfer ou la Créature venue du Chaos.
Par contre, dès que le OTP est moins bon, à mon avis il y a sanction.

Peut-être que la différence entre la Créature et le Manoir sur la note vient de l'utilisation originale des points de Peur qui booste la note consacrée aux règles ?


Sinon, je contaste que certains livres avec des compétences/disciplines comme Voie du Tigre, Destin 1 (seul noté), certains LS, Vengeance des Démons etc ... sont très bien classés en général.
Peut-être parce que cela joue sur 3 critères à la fois :
- originalité et intérêt du perso principal (de par ses compétences),
- originalité et intérêt des règles
- rejouabilité (et durée de vie), indiscutablement plus importante avec l'essai d'autres compétences.

Très intéressants ces résultats, merci Jareth !

@ Lous : j'adhère complètement à ton commentaire : il ne s'agit en effet pas de dire d'une part que les résultat sont vrais dans l'absolu (c'est-à-dire pour tous), ni que la technique n'est pas importante (secondaire ne signifie pas à négliger), mais bien de chercher où se porte en général l'attention maximale d'une majorité de joueurs, pour dégager une "bonne recette" de l'écriture d'avh. Après, à chacun d'ajouter ses ingrédients à sa manière, disons que mon but était de chercher la levure.


@ Aragorn : Oui les résultats semblent assez indépendants de la popularité des livres. Je suis assez content qu'un livre comme le Pirate des Sept Mers soit au premier plan, car il est même le 5e meilleur livre des critiques du forum.
Les notes littéraires et techniques sont en effet souvent proches (mais il faut se méfier car même une petite différence peut être significative), ce qui amène à penser que la qualité d'un livre est pour la plupart du temps relativement globale.

Concernant le Manoir de l'Enfer et la Créature venue du Chaos, voici leurs notes détaillées respectives pour comparaison (je rappelle que ce sont des moyennes issues de corrections statistiques visant à harmoniser puis redéployer les notations des juges sur un panel large sans dénaturer leurs positions relatives, ne vous étonnez donc pas si certaines vous semblent extrêmes ; pour ces livres elles l'ont en fait vraiment été relativement aux notes des autres livres, c'est juste plus lisible suite à l'application d'une sorte de "zoom" nécessaire à un bon grain pour les notes finales):
Manoir de l'Enfer/Créature venue du Chaos
Personnage incarné : 13/20
Personnages secondaires : 18/14
Histoire : 19/20,5
Descriptions : 19,5/14,5
Univers : 19/17
Action : 16/10
Choix : 15/0,5
Règles : 15/10,5
Difficulté : 10,5/2
Durée de vie : 17/14

Le Manoir de l'Enfer est classé 14e sur le forum et la Créature est 23e. Leur différence de position est moins extrême que pour mon classement (5e et 61e), mais elle existe aussi sur le forum en faveur du Manoir qui semble je pense plus accessible car proposant des interactions plus claires avec le joueur (choix, action, ...).


@ Vic : je pense que ta remarque sur les points de peur pour le Manoir justifie la différence de notes de règles entre les deux livres. J'ai remarqué de manière générale en rentrant les notes que les joueurs sont très sensibles positivement à l'ajout d'une petite règle astucieuse dans ce genre. Idem comme tu l'as très bien vu pour l'introduction de compétences.
Je pense que de manière générale des règles basant leur complexité sur un choix de compétences ou un détail original plutôt que sur un système de règles formelles bien foutu (combat ou gestion de nourriture par exemple) sont bien mieux reçues par le public majoritaire. Le lecteur trouve très probablement du confort à ne pas être "gestionnaire", pour investir pleinement ses ressources dans l'imagination de ce qu'il vit.

J'ai vérifié si tes remarques 1 et 3 étaient fondées.
Pour la première (influence sur la perception du personnage incarné), il y a effectivement un effet : si je compare le jugement des livres jugés bons sur les règles et ceux jugés mauvais (je prends 2 groupes extrêmes distants de la moyenne, environ 1/6 des livres pour chacun des deux groupes), il y a une différence significative dans la moyenne du jugement du personnage incarné. Cependant, cet effet bien que réel est faible en puissance, et rien ne permet de conclure si c'est une causalité : règles --> personnage, ou une co-occurence : bon auteur --> bonnes règles et bon personnage. Si on penche pour la première possibilité, les compétences (qui sont effectivement très représentées dans les livres à "bonnes règles") influencent un peu la perception du personnage, mais ce n'est pas ça qui doit être très déterminant.
Pour la troisième (influence sur la durée de vie), la même comparaison des livres des deux groupes ("bonnes règles" et "mauvaises règles") montre un effet plus concluant : la puissance d'effet est plus de deux fois plus forte que celle concernant le personnage incarné.
Je pense donc au final que tu as raison de mettre le doigt sur la rejouabilité du live augmentée par les choix de compétences. Je suis plus réservé concernant l'intérêt augmenté du personnage principal.

encore d'accord. Je m'attendais un peu à ces résultats concernant le PJ principal et les disciplines/compétences originales. Je crois que cela dépend des pas mal des juges ou des votants. J'avais eu le même cas de conscience sur la série Sorcellerie par ex.
Certes, le héros est original, mais uniquement parce qu'il est sorcier et pratique la magie.
Pour tout le reste, on ne sait rien sur lui et c'est un héros typiquement de DF à cause de ça.

On est loin du background de LS ou du Ninja.

Il y a beaucoup de choses intéressantes dans tes analyses, et je pense que tu devrais essayer d'en faire une petite synthèse, bref un petit résumé facile d'accès destiné aux auteurs d'AVHs par ex. Car c'est un peu difficilie d'apréhender tout ça d'un coup dans les longs posts. Bon, je sais que cela te prendrais "encore" du temps, mais si tu pouvais dégager un résumé de tes conseils et de tes résultats, je pense que ce serait vraiment très utile.

Oui tu as raison, je vais faire un tableau pour résumer les conclusions, je le posterai en premier message de l'autre sujet (Vic, mon fidèle conseiller en communication ^^)

Au passage, je précise rapidement deux nouveaux résultats que je ne détaillerai pas davantage pour ne pas alourdir :

- Les dimensions les plus corrélées statistiquement (donc qui approximent le mieux) les notes des forumers dans les critiques sont : l'univers, les personnages secondaires, la durée de vie, et l'histoire, soit encore majoritairement du "narratif" (sauf durée de vie qui est à la fois narratif et technique). Celles qui approximent le moins bien sont : règles, difficulté et personnage incarné (ce dernier est particulièrement mal corrélé), soit surtout du "technique" (à part le PJ qui décidemment est toujours à part).
Mes conclusions ne sont donc pas propres à la façon dont j'ai calculé les notes globales, puisqu'un critère externe (les notes des critiques) les confirment.

- J'ai commencé le tableau des comparaisons de groupes ("bons" et "moins bons" pour chaque dimensions) proposé par Lous pour détecter des interactions significatives. Je n'ai pas fait jusqu'au bout mais le schéma qui se dégage clairement est le même que celui de l'analyse factorielle (ce qui n'est pas surprenant en fait), à savoir que les dimensions "narratives" varient ensemble, et les dimensions "techniques" varient ensemble. Cependant, si ces interactions sont assez marquées, il en existe des plus faibles quasi entre toutes les dimensions : il y aurait donc un niveau encore plus global de qualité générale d'un livre, moins évident mais existant.