Édition et métriques : la mesure des enjeux

Billet rédigé par Arthur Perret (Enssib) et par Karim Sellami (ENS-Lyon) dans le cadre du cours sur l’économie du document/web.

« Publie ou péris ! » Cette injonction bien connue des scientifiques, qui représente pour certains leur pire terreur nocturne, symbolise une dérive et un problème majeur de la publication scientifique : elle étouffe, déborde et s’écroule sous son propre poids. Nos savants passés étaient parfois confrontés à un océan de papier ; nous nous noyons aujourd’hui dans une mer de câbles et de signaux, perdus dans la masse électronique de nos revues dématérialisées.

Dans cette errance de la pensée, l’écriture est notre radeau. Technologie intellectuelle ultime, elle nous permet de décontextualiser, ré-organiser, transformer l’information. Confrontés à l’immensité de la production scientifique, nous en faisons des listes, que rassemblons dans des livres, que nous cataloguons, puis numérisons, puis atomisons en hypertexte. Les outils textuels sont au cœur de notre maîtrise de l’information. Et bien sûr, nous mesurons tout cela.

Les métriques de l’édition scientifique représentent un objet de plus en plus fascinant. À l’origine simples statistiques de citations permettant une hiérarchisation des producteurs et diffuseurs de science, leur potentiel se démultiplie au fur et à mesure que le pouvoir de l’écriture se déploie dans les réseaux. En puisant dans le Web social, les métriques dites alternatives nous font passer en coulisses et nous révèlent la circulation de l’information. Elles rétablissent sinon la matérialité de la recherche d’information scientifique, du moins son incarnation dans des manipulations concrètes : accès, téléchargement, sauvegarde, partage…

Surtout, ces métriques éclairent les enjeux passés et actuels de la science, aussi bien au niveau des institutions que du marché de l’édition.

De l’alternative à la complémentarité

Depuis l’émergence du terme altmetrics en 2010, les nouvelles métriques liées au Web social se rassemblent autour de propositions fortes :

  • Décrire l’ensemble de la communication scientifique
  • Mesurer l’impact social, au-delà de la communauté scientifique
  • S’adapter à toutes les disciplines et toutes les langues
  • Mesurer plus vite et en temps réel

Il s’agit ni plus ni moins que de changer la façon dont on mesure l’impact de la science. Ce potentiel disruptif a été largement mis en avant par leurs promoteurs afin de les ériger en alternative aux métriques existantes.

Ces caractéristiques répondent à des évolutions de l’information elle-même : mise en réseau, atomisation, plasticité, accélération. Logiquement, les métriques en partagent les limites et en ajoutent de nouvelles :

  • Instabilité technologique et manque de standardisation
  • Sources de données peu fiables
  • Reproduction des biais en faveur de certaines langues (anglais) et disciplines (STM)
  • Trop peu de rétrospectivité pour réfléchir et faire émerger du sens sur ces métriques

Du fait de ces limites, le discours sur les nouvelles métriques semble avoir progressivement changé : elles ne sont plus présentées comme une véritable alternative mais comme une ressource complémentaire de métriques existantes et de pratiques stabilisées.

Services d’aujourd’hui, éditeurs de demain ?

Le changement introduit par le Web a donc ouverte des possibilités mais n’a pas permis de bouleverser immédiatement l’écosystème de la communication scientifique, tout de même vieux de plus de 300 ans. Le marché a donc tendance à se recomposer progressivement autour du rôle central des éditeurs. Les sociétés ayant développé des services autour de nouvelles pratiques connectées sont ainsi rachetées par des géants de l’édition, avec des exemples marquants comme Mendeley et Elsevier. C’est logiquement le cas de plusieurs services proposant des métriques alternatives, comme par exemple Plum Analytics, racheté par Ebsco.

Mais les acteurs historiques doivent également composer avec l’essor de nouveaux entrants plus ambitieux, qui se posent en concurrence directe avec eux. Les réseaux sociaux académiques comme ResearchGate connaissent un énorme succès en misant sur l’économie de la visibilité, laquelle est le nerf de la guerre sur le Web. Mais ils mobilisent également des métriques traditionnelles et alternatives de façon complémentaire, lesquelles se situent au niveau de l’article et non de la revue (article-level metrics ou ALMs). Ce changement est tout sauf anodin : la diminution de l’importance de la revue et son fameux facteur d’impact affaiblit le système éditorial traditionnel.

Cela pose évidemment une question passionnante : assistons-nous à une possible évolution de la notion même d’éditeur scientifique ou à une simple redistribution des parts de marché suite à l’arrivée de nouveaux concurrents ?

L’autre enjeu économique

Avant de pouvoir y apporter eux-mêmes la réponse, il reste à ces nouveaux entrants une tâche importante : conquérir une certaine forme de légitimité vis-à-vis des institutions. Les relations entre les deux sont encore très peu développées, or les enjeux sont gigantesques.

Dans un contexte de compétition globale, la capacité à innover est plus que jamais fondamentale pour construire des avantages compétitifs. La recherche et par extension le système académique d’un pays représentent le fer de lance de sa stratégie économique grâce à la production de brevets et d’articles scientifiques. On dépasse ici le marché de l’édition pour rentrer dans des considérations politiques et macro-économiques.

La compétition entre les universités est féroce. Elle donne lieu à des classements scrutés de près (Shanghaï, Times Higher Education), car un établissement attractif sera à même de rassembler des éléments brillants dont les travaux cimenteront sa légitimité. C’est le cas par exemple de Caltech dans les sciences et l’ingénierie ou de l’Université de Chicago en économie. Le rang dans ces classements est lié à l’impact de leur production scientifique, mesuré par des métriques traditionnelles. Preuve de cette importance, certains établissements comme l’EPFL à Lausanne ont adopté avec succès la stratégie du débauchage.

Autre aspect économique majeur auquel les métriques sont intrinsèquement liées : la question du financement de la recherche. La logique marchande d’une économie capitaliste force en effet les chercheurs à rentrer dans des processus d’évaluation et de justification, lesquels reposent aussi sur les métriques traditionnelles telles que le facteur d’impact des revues. Malgré l’existence de remarquables travaux pointant les faiblesses de l’approche trop statistique dans une optique d’évaluation, le financement de projets reste fortement influencé par la mesure de l’impact des recherches menées par ses membres.

La troisième vague

On voit bien que les enjeux sont gigantesques pour les nouveaux acteurs du marché de la communication scientifique. Il est extrêmement important pour leur croissance et leur statut qu’ils arrivent à se faire une place dans cette dynamique plus large. Or que constate-t-on ? Que la question du poids de la bibliométrie dans l’évaluation dans la recherche est déjà très controversée. Que l’évocation d’une possible prise en compte des métriques alternatives dans l’évaluation de la recherche suscite une levée de boucliers. Que de façon générale, ces indicateurs sont encore peu voire pas pris en compte par les institutions.

Le problème, c’est que l’inverse est tout aussi vrai. Difficile d’établir la même crédibilité dont bénéficient les éditeurs en tant que partenaires institutionnels quand les différentes plateformes ne laissent qu’une place limitée aux universités, agences de recherche et laboratoires. La granularité de leurs systèmes est celle de l’individu et de l’article, pas de l’équipe ni du projet. En se contentant se singer les mécaniques de réputation des réseaux sociaux traditionnels, ces services prêtent le flanc à la critique d’une individualisation de la recherche et se voient enfermés dans le rôle réduit de facilitateurs de stratégies carriéristes.

L’enjeu ne repose donc pas seulement sur la conquête d’un nouveau statut. Il passe par une redéfinition de l’offre, plus adaptée à la compétition institutionnelle dont les nouveaux acteurs restent encore largement spectateurs. Loin de se tourner les pouces, ils mènent une réflexion parfois collégiale sur les usages et le potentiel de leurs services. Rappelons-nous toutefois qu’ils sont apparus avec la deuxième vague du Web, le fameux 2.0, avènement de l’hypertexte social. Attendons donc la troisième vague : le Web sémantique, lequel pourrait bien réécrire tout le paysage.


Vous aimerez aussi...

10 réponses

  1. Arthur Perret dit :

    Merci aux commentateurs pour avoir apporté un regard critique sur notre article, en reprenant des notions qui traversent l’édition scientifique traditionnelle et en ligne : résonance, marketing, accès… Vous partagez visiblement notre point de vue sur le bouleversement engendré par la mise en réseau de l’information, mais vous avez exprimé des points de vue différents. Vos commentaires évoquent beaucoup la marchandisation de l’information et autres pratiques qui se sont développées sur le web, en faisant notamment des parallèles avec la publicité et l’économie de l’attention. Ces aspects sont indéniablement présents dans la problématique de l’édition et représentent une bonne opportunité d’élargir le débat.

    Un point a visiblement retenu votre attention : quid de la qualité des publications scientifiques ? Rappelons une nouvelle fois que les indicateurs, anciens ou nouveaux, représentent avant tout des mesures d’impact. Qu’un classement d’universités utilise ces métriques pour évaluer la qualité de la production d’un établissement est problématique au vu des enjeux économiques.

    Restons attentifs aux spécificités de l’édition scientifique. Le web est un médium s’inscrivant dans la dynamique de l’édition, pas l’inverse. Si les pratiques personnelles et professionnelles ont beaucoup changé, les dynamiques disciplinaires sont moins malléables, la culture technique du collectif et de l’individu pouvant être très différente. Les phénomènes d’amplification ou accélération induits par le web ne sont pas forcément homogènes, notamment parce que le paysage lui-même est très hétérogène.

  2. Abdou dit :

    Bonjour,
    Merci pour votre billet très intéressant sur « Édition et métriques : la mesure des enjeux ». Il m’a permis d’avoir une idée large sur le sujet.
    Pour revenir sur les aspects économiques, je pense que même si la compétition entre les universités peut être considérée comme un enjeu économique, les classements des universités sont toujours source de divergence entre universités car certaines d’entre elles doutent de la pertinence de la méthode et d’autres de leur fonctionnement.
    Même si les acteurs s’intéressent à la production scientifique, aux sources de données, …les classement sont aussi basés sur d’autres critères difficilement mesurables comme la qualité de l’enseignement, la qualité du corps académique, etc.

    • Arthur Perret dit :

      Qualité de l’enseignement, qualité du corps académique… Au-delà des intitulés, le classement de Shanghaï ne s’appuie que sur deux indicateurs : le nombre de prix Nobel/médaille Fields et le nombre de citations, notamment dans Science et Nature (source : https://regulation.revues.org/9016). Donc non seulement c’est difficile à mesurer mais en plus les mesures sont d’une pertinence toute relative (et abondamment critiquées comme tu le soulignes).

  3. Karl Pineau dit :

    Le web me semble tout de même avoir largement rebattu les cartes du monde scientifique. Peut-être pas dans la publication d’articles mais dans l’accès aux articles. Plus besoin aujourd’hui (évidemment, ça dépend des disciplines scientifiques et de leurs pratiques propres, mais en tout cas dans mon milieu du web sémantique c’est le cas) d’un abonnement à Springer, une petite recherche sur Google Scholar me donne accès à 90% des articles en version intégrale PDF. (Et justement, je me demande si ça n’est pas du web sémantique qui permet à Google de moissonner ces ensembles de données, ce serait intéressant de regarder)

    De fait, cette facilité d’accès à l’information dans certaines disciplines n’induit-elle pas un rebattement des cartes dans la résonance des contenus au regard de leur qualité ? Car est-ce que le problème était auparavant la qualité (soyons fou, lâchons le terme : le copinage) ou la capacité d’accès à l’information. Les exemples historiques sont nombreux pour illustrer un fait scientifique découvert par 2 personnes au même moment mais de manière non coordonnée car justement l’information circulait mal.

    • Arthur Perret dit :

      Bien vu, les dynamiques disciplinaires sont la clé de ces questions. En physique, la culture de l’auto-archivage liée à ArXiv est un héritage des pratiques de communication des chercheurs de cette discipline, on ne retrouve pas du tout cette culture en biologie par exemple.

      Par contre, je n’ai pas les chiffres mais si 90% de la recherche était réellement accessible librement en dehors des plateformes payantes, celles-ci seraient-elles toujours en situation d’oligopole ? Et quand bien même ce serait déjà le cas aujourd’hui, les mécanismes de notoriété propres à l’édition scientifique sont tels que les 10% restants représentent probablement les articles les plus cités.

  4. karim sellami dit :

    Merci Marta pour ce commentaire,
    Je pense justement que l’intéret des lecteurs n’est pas pris en considération lorsque l’on parle du modèle publicitaire dominant.
    Les articles sponsorisés si je prend cet exemple vont se baser dans le domaine de la mode en un court au format défini (500 mots, 2 liens internes avec une ancre précise puis un lien vers le site mis en avant).

    La qualité du contenu va varier selon la considération du blogueur ou du site (Yahoo actualité mettons) pour son audience. L’article de mode va décrire une jupe d’été achetée et essayée avec des chaussures rouges sur le site/blog annonceur.
    L’article est écrit avec un titre précis parce que la blogueuse sait que les lectrices/lecteurs vont cliquer pour un titre et un thème qui va ne rien leur apprendre ni les distraire.

    Pour le secteur des blogs de beauté/mode que je connais, pour une poignée de blogs stars et de blogueuses sincères dans leur démarche, une majorité débute pour atteindre des metrics respectables (PR de 3, milliers de vues mensuelles) pour ensuite monétiser et structure un contenu SEO et vendre de la vue par mot clé et terme précis selon les saisons. Je blogue, je prends un wordpress gratuit, je fais de l’audience puis j’achète le nom de domaine qui est mieux indexé après avoir analysé mon audience.

    Peu importe de mentir et de dire que les lectrices veulent lire deux fois le même article pour deux marques différentes. Ou encore d’encourager ces jeunes filles de se précipiter sur tel site e-commerce qui propose les meilleures robes avec un joli lien pour pousser le référencement d’une page précise (du boost).

    Notre scientifique va publier dans des revues car il est payé pour çà. Il a un nombre précis d’articles à publier.
    On ne recherche pas un intérêt du lecteur donc mais des mots clés dans un premier business modèle pour avoir du click un fort CTR et de fortes conversions.
    J’entends que même si ces mots clés traduisent un intérêt du lecteur, ils sont à ce titre utilisés pour pousser du contenu pas intéressant. « le contenu est roi » qui est un adage à la mode devrait se baser sur intérêt pour le lecteur mais je pense juste qu’il faut lire « tout est bon à écrire pour de forts CTR et taux de conversions » quitte à se répéter d’article en article et ne rien proposer au lecteur.

    Pour le domaine scientifique, il y a pléthore de sites où l’intérêt pour la recherche dans un premier temps constitue la motivation principale selon moi d’un scientifique à publier et à partager son travail. L’article met en avant une institution qui rémunère un scientifique pour ainsi valoriser la savoir faire de la maison de même que le scientifique qui va innover et être reconnu comme le meilleur parmi ses pairs.

    Il y a une hiérarchie précise et des intérêts ici qui ne concernent pas le lecteur je pense. Je pense que l’on devrait dire d’un chercheur qu’il ne part pas enseigner à l’étranger mais qu’il va publier à l’étranger si l’on devait illustrer le drainage des cerveaux…Un cadre de travail et des moyens pour mener sa recherche lui sont proposés et l’université investit sur la capacité à innover voire révolutionner une discipline pour se hisser parmi les meilleurs instituions mondiales.

    Au final les lecteurs d’articles scientifiques que sont les étudiants/chercheurs et dilettantes ne sont pas je le pense au cœur de ce business modèle.
    je pense au final que la même logique de la blogueuse de mode peut être appliqué à l’édition scientifique de masse. On met la pression sur un rédacteur (scientifique ou employé d’une start-up qui rédige du contenu quand ce n’est pire à Madagascar…) pour produire un écrit formaté.
    Je trouve intéressant pour aller plus loin, les sept réalités qui sont décrites sur ce site, le scientifique paye pour être publié, les articles sont revus de manière sommaire et les données ne semblent être au cœur du format exigé pour publier par exmeple: http://pnis.co/cracked.html.
    http://pnis.co/cracked.html

  5. Marta Dabrowska dit :

    Vous parlez dans votre conclusion de différentes plateformes, autres que les revues si j’ai bien compris, qui opèrent en référence au web social, c’est à dire sur la base de l’individu. Ces plateformes sont-elles du type Research Gate ? Car si c’est le cas, cette plateforme offre des liens par projets et institutions. Elle permet justement de lier les travaux et les individus.

    Il est intéressant de constater l’opposition entre qualité de contenu et résonance. C’est, si je ne me trompe pas, le nerf central du débat.
    Finalement quelle est la différence entre le système des annonceurs publicitaires qui va placer ses billes sur les sites ayant le plus de résonance et le système métrique des publications scientifiques qui va permettre des investissements sur les recherches ayant le plus de résonance également ?
    Ni l’un, ni l’autre ne garantissent la qualité du contenu. En tout cas tout deux excluent des contenus de qualité mais avec peu de résonance de part la portée de leur de sujet par exemple.
    Le monde scientifique est finalement soumis aux mêmes lois que tout autre système de publication : l’intérêt des lecteurs.

    • Arthur Perret dit :

      Les plateformes auxquelles nous faisons référence suivent effectivement le modèle du web social, avec l’individu au centre du dispositif. ResearchGate dispose désormais de pages institutionnelles et projet mais la critique perdure sur l’absence de mise en avant du collectif. L’institution est éditorialisée suivant la même logique que l’individu, une logique qui s’applique mal aux projets (la meilleure preuve en est le peu de métriques sur les pages projet) ou à l’équipe, entité centrale dans les STM et importante dans les SHS.

      La résonance est un concept délicat à manier vis-à-vis de la publication scientifique et je suis heureux de pouvoir en parler. Ce qui est frappant, c’est à quel point les mécanismes de notoriété d’une plateforme comme ResearchGate peuvent être influencés par des mécanismes extérieurs. Je vous donne un exemple : un chercheur reconnu et plutôt en fin de carrière s’inscrit sur un réseau social académique parce qu’un jeune collègue lui a conseillé de le faire, mais il l’alimente très peu ; pourtant, la notoriété de ses publications dans le milieu est telle que son profil dépasse rapidement les statistiques moyennes. Le web est effectivement un amplificateur de résonance, et on voit bien par un exemple comme celui-ci qu’il représente un médium dans l’écosystème de la communication scientifique, et non sa totalité.

  1. 20/10/2016

    […] Les métriques de l’édition scientifique représentent un objet de plus en plus fascinant. À l’origine simples statistiques de citations permettant une hiérarchisation des producteurs et diffuseurs de science, leur potentiel se démultiplie au fur et à mesure que le pouvoir de l’écriture se déploie dans les réseaux. En puisant dans le Web social, les métriques dites alternatives nous font passer en coulisses et nous révèlent la circulation de l’information. Elles rétablissent sinon la matérialité de la recherche d’information scientifique, du moins son incarnation dans des manipulations concrètes : accès, téléchargement, sauvegarde, partage…Surtout, ces métriques éclairent les enjeux passés et actuels de la science, aussi bien au niveau des institutions que du marché de l’édition.  […]

  2. 10/11/2016

    […] Édition et métriques : la mesure des enjeux […]

Laisser un commentaire

Votre adresse de messagerie ne sera pas publiée. Les champs obligatoires sont indiqués avec *