Boîte noire » Archive du blog » Les petites choses utiles du mardi, vol. 40

Les petites choses utiles du mardi, vol. 40

2 janvier 2007 · Petites choses

Un volume des petites choses utiles du mardi dédié à Bill Clinton et à Tony Blair, qui avaient commencé leurs second et premier mandats, respectivement, il y a dix ans, en 1997. Une pensée pour les citoyens roumains et bulgares qui viennent de rejoindre l’Union européenne.

Academia

Le BMJ s’intéresse aux avaleurs d’épées (l’un d’eux signe même l’article ; et ne ratez pas sa photo).
Andrew Gelman a simulé les élections présidentielles américaines de 2000 en ne faisant voter qu’une seule tranche de salaires à la fois. De son propre aveu, les résultats sont peu surprenants.
ATTAC France a de petits soucis de démocratie interne. René Passet a été chargé d’analyser le scrutin du dernier conseil d’administration. Avec l’aide de deux rapports d’experts, l’auteur conclut, au sujet des lots de votes :

Les réponses sont unanimes. Oui il y a des lots atypiques clairement identifiables et identifiés dont chacun établit la liste et ces listes coïncident.
Les écarts sont bien concentrés sur une période clairement fixée aux dépouillements survenus les 14 et 15 juin.
La probabilité que ces écarts constatés , tant positifs que négatifs , puissent s’être produits sous le seul effet du hasard et sans intervention extérieure, est chiffrée et les résultats obtenus, sur la base de tests différents, se situent à des niveaux de probabilité confinant à l’impossible : les deux premiers rapports évoquent des taux de 1 pour 1,7 millions et nous avons vu les niveaux effarants enregistrés, sur d’autres critères, par le troisième rapport. A ces niveaux, l’argument que les événements les plus improbables, lorsqu’ils se produisent, concernent bien des situations concrtes ou des personnes déterminées ne paraît plus recevable : Maxwell lui-même, quand il prétendait que la loi de l’entropie (qui est le type même de loi probabiliste), pouvait être tenu en échec, était obligé de faire intervenir un démon sélectionnant les molécules lentes et les molécules rapides. C’est bien notre problème : les écarts enregistrés n’ont pu l’être sans l’intervention d’un Démon de Maxwell…

[…]

L’impact sur les résultats, ressort du constat général que tous les candidats affectés par les dérives l’ont toujours été dans une direction bien déterminée : toujours à la hausse pour certains, toujours à la baisse pour d’autres.
Le H-Index a l’air plus fiable que les techniques standard de calcul des impact factors individuels (mise à jour, 4 janvier 2007 : il y a de bons arguments dans les commentaires d’Enro sur cette note pour penser que c’est loin d’être systématiquement le cas, voire que c’est plutôt l’inverse pour une majorité de disciplines).

Politique

Nous sommes à présent en année électorale présidentielle-législative, c’est-y-pas génial pour un blog de wanabee-politiste (sachant qu’un débat récurrent est encore de savoir si l’on dit politologue ou politiste). Trois options s’offrent à moi :

l’option Éconoclaste, qui relève toutes les conneries qui se publient au sujet de l’économie dans la presse (enfin, dans Le Monde ou Libération) ;
l’option Grosse Fatigure, qui publie un commentaire avant de se (re)tirer de la vie politique et blogosphérique française ;
et l’option Lao-Tseu, puits d’infinie sagesse, qui veut qu’à chaque fois que je vois un commentaire ou une connerie ou les deux combinés sur l’élection présidentielle, je la ferme et je lis un article ou un chapitre d’ouvrage pour mes recherches.

J’hésite, mais vu mon fort potentiel à raconter n’importe quoi et à me planter lamentablement dans mes propres analyses électorales pré-scrutin, je penche pour le puits d’infinie sagesse.

Tech

Pas de petites choses utiles dans la section Ars technica, mais une remarque : le spamming est en augmentation massive dans tous les domaines.

Misc

Tiens, une copine de lycée a signé un article dans la dernière édition du Monde Diplomatique.
David Madore a rédigé un guide pour créer soi-même son fim de dragons (le guide fonctionne à 75% pour le scénario du premier Star Wars).
Petite chose musicale discrète : je crois avoir trouvé un lien entre le Köln Konzert de Keith Jarrett (première partie, vers la vingtième minute) et The Leper Affinity d’Opeth (sur l’album Blackwater Park, vers la neuvième minute). Je n’arrive pas à identifier précisément la ressemblance entre les deux partitions de piano, je pense que ça a à voir avec le rythme ou le touché. Les passerelles entre le jazz et le black metal progressif restent limitées en temps normal, mais là, je ne sais pas pourquoi, je n’ai aucun mal à faire communiquer les deux mélodies.
En réponse aux inquiétudes de certain(e)s, je prévois de virer le bonnet affligeant de la lithogravure qui apparaît en haut de page dans quelques jours.

attac, h-index, keith+jarrett, opeth

Référence : François, Les petites choses utiles du mardi, vol. 40, Boîte Noire, 2 janvier 2007.
Accessible en ligne : http://phnk.com/blog/petites-choses/40/.

Discussion

8 commentaires :

#1

A propos du H-index : j’ai peut-être raté quelque chose mais je ne sais pas sur quoi tu te bases, dans le billet de Epidemiologic Enquiry, pour affirmer qu’il a l’air plus fiable que d’autres indicateurs. D’autant qu’un article tout récent paru dans Nature (Lehmann et al., 2006, vol. 44, pp. 1003-1004) affirme : Compared with the h-index, the mean number of citations per paper is a superior indicator of scientific quality, in terms of both accuracy and precision.

Enro, 2 janvier 2007

#2

virer le bonnet affligeant de la lithogravure… : ah, enfin ! ;-)

Yves Duel, 3 janvier 2007

#3

Enro : de ce que j’ai compris en lisant l’article de Nature cité par Epidemiological Inquiry, c’est une tentative de dépasser le mean number of citations per paper, qui n’est valable que si la citation pattern est alignée sur le même paradigme (c’est-à-dire maximiser le CrossRef). J’ai écrit a l’air parce que, justement, il manque une comparaison enre méthodes pour tirer ça au clair.

François, 3 janvier 2007

#4

François : Mmmm… On dirait que ton article n’est qu’un rédactionnel qui annonce et fait l’éloge du h-index. Or l’article que je mentionne fait bien une comparaison entre méthodes et conclut que le nombre moyen de citations par article est l’indicateur le plus solide et précis ! Par contre, je n’ai pas trop saisi ce que tu entends par paradigme de citation : est-ce que tu penses aux différences entre disciplines ? Si oui, le h-index et le nombre moyen de citations doivent tous deux être rapportés à la discipline voire à la spécialité. Quant à CrossRef, ce n’est qu’une solution technique pour donner des identifiants uniques aux articles et contenu scientifiques :-/

Bonus : dans ton article d’août 2005, on lit :

Ed Hughes, manager of the UK Research Assessment Exercise (RAE), which assesses the quality of university science departments to determine their funding, says that the exercise purposely avoids metrics in favour of expert review panels. We explicitly don’t use impact factors and citation indices, he says.

Or il est prévu qu’après 2008, le RAE soit presqu’entièrement basé sur des indicateurs bibliométriques (nombre et impact des publications…) ou scientométriques (subsides privées, valorisation…) ! Moins d’un an après, quelle renversement ironique !

Enro, 4 janvier 2007

#5

Oui, c’est à peu près ce que je voulais dire au sujet des citations. Le nombre moyen reste une solution numérique peu adaptée dans un grand nombre de disciplines. En évoquant le CrosRef, qui permet aussi de voir qui cite qui et combien de fois, c’est à ça que je faisais allusion : il y aurait peut-être un intérêt à rattacher quelques indicateurs quali aux grands indicateurs actuels. Typiquement, il vaut avoir sorti un papier cité une fois par un prix Nobel qu’être repris quarante fois par autant d’inconnus dans une multitude de revues de faible standard. Je ne sais pas ce que donnerait le h-index comparé à l’impact factor dans ce cas.

J’ai récemment pu observer l’une des conséquences inattendues du RAE : les universités (je généralise à partir d’un seul cas mais la logique se vaut) préfèrent recruter de vieux chercheurs bourrés de citations au lieu d’accueillir de jeunes docteurs, même s’ils sont prometteurs et si leur présence apporterait plus à long terme (plus grande disponibilité, adéquation des objectifs scientifiques, etc.). Le système est encore plus pervers car le statut même des personnels est pris en compte (un jeune chercheur rapporte moins de points qu’un professeur, par exemple).

François, 4 janvier 2007

#6

François : A travers la question de l’autorité de celui qui cite, tu fais une proposition intéressante : à quand un indicateur récursif façon PageRank pour pondérer le nombre de citations par l’autorité ? ;-) Par contre, tu dis qu’il vaut mieux être cité peu par des chercheurs/articles de qualité que beaucoup par des chercheurs/articles lambda. Cela soulève de vraies questions loin d’être évidentes sur la nature et l’avancement (pour ne pas dire progrès) de la science. C’est aussi pour cela qu’en utilisant le nombre de citations (non pondéré), on n’obtient qu’une mesure de la visibilité d’un chercheur/article et aucunement de sa qualité ou de sa contributon à la science, il est bon de le répéter encore et toujours. Le terme d’impact, tiré de l’anglais, est bien trop laxiste à cet égard…

Enro, 4 janvier 2007

#7

Je te suis là-dessus. .Voici quelques idées supplémentaires en vrac.

Un texte (article, revue) avec un impact factor élevé a deux significations liées :

D’une part, il affirme que le texte bénéficie d’une grande visibilité parmi les milieux de la recherche scientifique ;

D’autre part, il suggère que le texte est lui-même de bonne qualité, car l’hypothèse d’arrière-plan est que les scientifiques savent distinguer le grain de l’ivraie et mettent par conséquent l’accent sur les bons travaux.

L’affirmation (1) dépend de la qualité mathématique de l’indicateur. Mais le point (2) n’est qu’une suggestion à l’heure actuelle ! Il faudrait tester cela : voir si les prix Nobel avaient les meilleurs impact factors. J’en doute. Je dirais même que de vieux travaux pourtant excellents auront de faibles impact factors parce que :

D’abord, le système des spécialités coupent certaines disciplines du succès dans les indicateurs numériques (d’excellentes revues de théorie médicale sont moins lues que de très mauvaises revues de médecine interne) ;

Ensuite, l’augmentation du nombre de chercheurs produit un effet mécanique : un mauvais papier publié en 2005 est plus lu qu’un bon papier publié en 1975. Est-ce que les Journal Citation Reports en tiennent compte ? Non, ils estiment que les bonnes revues le restent et que les JCR se maintiendront de cette manière : il y a une forme d’hystérèse.

Il y a donc la place, dans l’univers bibliométriques, pour des indicateurs alternatifs qui pallieraient ces défauts. Un autre indicateur est possible ! :)

François, 5 janvier 2007

#8

Tout à fait d’accord avec tes réserves d’usage, il faut comme toujours comparer ce qui est comparable : même discipline, même période historique etc. Par contre, je ne serais pas si pessimiste sur la déconnexion entre le nombre de citations reçues et la reconnaissance honorifique type Prix Nobel. Comme l’a montré Garfield en 1986 (”Do Nobel prizes winners write citation classics?“, Current Contents, (23) : 3-8) :

In 1965 Irv Sher (…) and I examined the 1961 citations to the work of the 1962 and 1963 Nobel laureates in chemistry, physics, and physiology or medicine. We determined that these authors were cited roughly 30 times as often as the average author.

Mais aussi :

Not only are Nobel Prize winners highly cited, but most write landmark papers of wide influence as is reflected by the large number of publications (300 or more) citing them.

Et Thomson-ISI offre un aperçu de ce que cela donne sur les lauréats 2006…

Sinon, il y a beaucoup d’articles sur le h-index en ce moment, je reviendrai probablement dessus prochainement…

Enro, 5 janvier 2007