Pour fêter son centième numéro du et 25 ans d’édition, le Bulletin de méthodologie sociologique publie trois articles de recherche qui ensemble utilisent quatre méthodes différentes pour analyser la collection complète des titres, résumés et mots clefs de tous les articles de recherche et des rapports de recherche publiés dans les numéros 1 à 99. Ce numéro fête aussi 23 ans de coopération entre le BMS et RC33, le Comité de recherche “Logique et Méthodologie” de l’Association Internationale de Sociologie (AIS), et comprend aussi le dernier numéro de la RC33 Newsletter et son rapport sur la Septième Conférence Internationale sur la Méthodologie en Sciences Sociales, qui a eu lieu à Naples, Italie, du 1er au 5 septembre 2008. En plus de ces trois articles de recherche, ce numéro comprend aussi un dossier « Recherche en cours » - « Fièvre européenne d’évaluation de la recherche dans les sciences sociales » - concernant la récente classification officielle des revues sociologiques en France par l’AERES.
Le premier article de recherche, « Analyses d’un quart de siècle de publication au BMS », par Karl M. van Meter, comprend un historique bref du BMS et de sa coopération avec RC33, et présente les analyses précédentes des recherches publiées dans le BMS et, en plus, les deux articles suivants. Le deuxième articles de recherche, « Comment ont évolué les thématiques des 99 premiers numéros de BMS ? Analyse avec un logiciel de fouille de texte », par Mathilde de Saint Léger, analyse les articles du BMS avec Calliope, une analyse par co-occurrence de mots clefs, et produit des diagrammes stratégiques thématiques pour les périodes 1983-1992, 1993-2000 et 2001-2008. Le troisième article de recherche, « Un quart de siècle de méthodologie - L’émergence du longitudinal, des réseaux et de la statistique textuelle », par Gérard Boudesseul, analyse ce même corpus avec des programmes de classification hiérarchique ascendante et descendants, et une analyse factorielle des correspondances, produisant cinq classes thématiques majeures.
Le dossier sur la classification AERES comprend trois contributions distinctes : l’« Introduction » du rapport de recherche d’Yves Gingras, « La fièvre de l’évaluation de la recherche - Du mauvais usage de faux indicateurs » ; le texte de Laurence Coutrot, « Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de la recherche scientifique » ; et celui de François Briatta (ANCMSP), « Comparaison inter-classements des revues en sociologie-démographie et en science politique ».
CONTENTS/SOMMAIRE
A la mémoire d’Henry Rouanet (1932-2008)
Karl M. van Meter, Analyses of a Quarter of Century of Publishing at the BMS.
Mathilde de Saint Léger, Comment ont évolué les thématiques des 99 premiers numéros de BMS ? Analyse avec un logiciel de fouille de texte
Gérard Boudesseul, Un quart de siècle de méthodologie - L’émergence du longitudinal, des réseaux et de la statistique textuelle
Ongoing Research/Recherche en cours - « Fièvre européenne d’évaluation de la recherche dans les sciences sociales »
Yves Gingras, « Introduction » du rapport de recherche « La fièvre de l’évaluation de la recherche - Du mauvais usage de faux indicateurs
Laurence Coutrot, « Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de la recherche scientifique »
François Briatta, « Comparaison inter-classements des revues en sociologie-démographie et en science politique »
A LA MEMOIRE D’HENRY ROUANET
(1932-2008)
A qui veut découvrir la personnalité et l’œuvre d’Henry Rouanet, nous conseillons de visiter son site http://www.math-info.univ-paris5.fr/ rouanet/index.html où l’on découvrira l’homme, admirateur de Musil et de la langue allemande, et l’œuvre du scientifique à travers une présentation de ses orientations et de ses travaux.
Henry Rouanet avait accepté dès la création du BMS de faire partie de son comité scientifique et il n’a jamais remis en cause ce choix, même s’il n’était pas d’accord avec des orientations que nous avons prises, pas assez formalisées à ses yeux. Le site du BMS était d’ailleurs signalé par lui, à côté de deux revues, Mathématiques et Sciences Humaines et les Actes de la Recherche en Sciences Sociales, et cette confrontation de revues est un bon reflet des rapports entre Henry Rouanet et les sciences sociales. Nous ne parlerons pas ici de son œuvre dans le domaine de la psychologie, discipline à laquelle il fut si profondément lié et dont il a renouvelé l’approche statistique.
Henry Rouanet voulait renouveler de la même façon l’approche statistique des chercheurs en sciences sociales. Son idée force était qu’il ne fallait pas séparer la statistique mathématique et la statistique des chercheurs, mais que les deux attitudes se fécondaient. Il a toujours chercher à travailler avec des chercheurs d’un domaine, y compris les plus prestigieux comme Bourdieu, mettant en garde, conseillant, étant quelque fois incompris et protestant vigoureusement comme il savait le faire.
Interlocuteur privilégié de Georges Guilbaud, lui aussi récemment décédé, il admettait que l’on présente des méthodes "à la Guilbaud" ; c’est-à-dire en montrant les objets mathématiques et non la théorie qui leur était sous-jacente, mais il préférait quant à lui partir d’un exemple numérique, examiner les "procédures naturelles" qui sont utilisées car on fait des moyennes par exemple avant d’avoir entendu parler de statistiques. Partant de ces procédures naturelles, il les formalise dans leur description sans pour autant éprouver le besoin d’utiliser des développements mathématiques, car pour lui l’apprentissage de la statistique n’est pas une entreprise de recyclage en mathématiques (Avant propos de Statistiques et Sciences humaine : Procédures naturelles, Paris, Dunod, 1987, p. IX).
La formalisation de la description des données est une exigence théorique mais aussi pratique car elle permet leur traitement comme l’ont mis en œuvre les programmes mis au point dans cette perspective (Var3 avec Dominique Lépine et Marie-Odile Lebeaux puis EyeLID avec Jean-Marc Bernard, Robert Baldy). Comme leur utilisation nécessite un investissement dans l’acquisition de concepts formels, beaucoup ont préféré s’en tenir à des logiciels plus classiques, qui répondaient à des besoins plus simples.
Henry Rouanet fut et demeure pour le BMS une référence, un interlocuteur toujours présent par le biais de ses publications, par le biais de l’Ecole de statistique constituée de ses collaborateurs qui poursuivent aujourd’hui la tâche entreprise.
Le comité de rédaction du BMS
ANALYSES OF A QUARTER OF CENTURY OF PUBLISHING AT THE BMS
by
Karl M. van Meter
(CMH-CNRS-ENS-EHESS, karl.vanmeter@ens.fr)
Résumé - Analyses d’un quart de siècle de publication au BMS : Le BMS a commencé à publier en octobre 1983 et, cent numéros plus tard, nous examinons les tentatives précédentes d’analyser le contenu du contenu des articles de recherche du journal. Dans ce numéro, nous analysons tous les articles de recherche et les rapports de recherche en cours publiés du numéro 1 au numéro 99 avec quatre méthodes différentes : une analyse par co-occurrence de mots clefs avec Calliope ; une classification hiérarchique ascendante et une descendante (Alceste) ; et une analyse factorielle des correspondances, Trideux. Les résultats de ces quatre analyses - publiés dans ce numéro du BMS - sont commentés et comparés entre eux, et aussi comparés avec les analyses précédentes du contenu du BMS. BMS , Calliope, Alceste, Trideux, Analyse thématique du contenu, Analyse de la littérature scientifique, Bibliométrie.
Abstract : The BMS started publishing in October 1983 and, one hundred issues later, we look at previous attempts to analyze the content the journal’s research articles. With this issue, we analyze all the research articles and ongoing research reports published in issue 1 to issue 99 with four different methods : Calliope co-occurrence of key word analysis ; a descending (Alceste) and an ascending hierarchical classification analysis ; and Trideux correspondence analysis. The results of these four analyses - published in this issue of the BMS - are commented and compared between themselves, and compared with the previous analyses of BMS content. BMS , Calliope, Alceste, Trideux, Thematic Content Analysis, Analysis of Scientific Literature, Bibliometrics.
COMMENT ONT EVOLUE LES THEMATIQUES DES 99 PREMIERS NUMEROS DE BMS ? ANALYSE AVEC UN LOGICIEL
DE FOUILLE DE TEXTE
par
Mathilde de Saint Leger
(CNRS-IPAM, mathilde.de-saint-leger@cnrs-dir.fr)
Abstract - How have the themes of the first 99 issues of the BMS evolved, An analysis with a text-mining software : The titles, abstracts (in French) and key words (in French) of the 315 articles published in issues 1 to 99 of the BMS from 1983 to 2008 were divided into three periods : 1983-1992 (85 articles), 1993-2000 (119 articles) and 2001-2008 (111 articles). These three corpora were individually analyzed with Calliope, an analysis by co-occurrence of key words in units of text, which produces thematic clusters. It also constructs strategic diagrams, which show the general thematic structure of each period with its axes of density (ties within a thematic cluster) and centrality (external ties between clusters). These diagrams, and those of the more dominant clusters, are presented along with their interpretation. BMS , Text analysis, Calliope, Co-Word Analysis, Bibliometrics.
Résumé : Les titres, résumés et mots clefs des 315 articles publiés dans les numéros 1 à 99 du BMS entre 1983 et 2008 ont été divisés en trois périodes : 1983-1992 (85 articles), 1993-2000 (119 articles) et 2001-2008 (111 articles). Les trois corpus ont été analysés individuellement par Calliope, une analyse par co-occurrence de mots clefs dans des unités de texte qui produit des « cluster » thématiques. Elle construit aussi des diagrammes stratégiques qui montrent la structure thématique générale pour chaque période avec des axes de densité (liens internes à un « cluster ») et de centralité (liens externes entre « clusters ». Ces diagrammes, de ceux des « clusters » les plus dominants sont présentés et interprétés. BMS , Analyse textuelle, Calliope, Analyse par mots associés, Bilbliométrie.
UN QUART DE SIECLE DE METHODOLOGIE - L’EMERGENCE DU LONGITUDINAL,
DES RESEAUX ET
DE LA STATISTIQUE TEXTUELLE
par
Gérard Boudesseul
(CMH-CNRS-ENS-EHESS, gerard.boudesseul@caen.iufm.fr)
Abstract - A Quarter of a Century of Methodology - The Emergence of Longitudinal Analysis, Social Networks and Textual Statistics : Using the titles, abstracts and key words (in French) of the 318 articles in the BMS, issues 1 to 99, the author analyzes this corpus with hierarchically ascending and descending classification programs and with factoral correspondence analysis. With the results of these three methods, he describes in detail five major thematic classes : Survey Situation, Longitudinal Analysis, Social Network Analysis, Theoretical Debate and Textual Analysis. Their interrelationship and evolution over time is also described. BMS, Classification Analysis, Factorial Correspondence Analysis, Thematic Evolution, Bibliometrics.
Résumé : En utilisant les titres, les résumés et les mots-clefs des 318 articles des numéros 1 à 99 du BMS, l’auteur applique des programmes de classification hiérarchique ascendante et descendante, et une analyse factorielle des correspondances. Avec les résultats de ces programmes, il décrit en détail cinq classes thématiques majeures : Situation d’enquête, Analyse longitudinale, Analyse des réseaux, Débat théorique et Analyse textuelle. Leurs interrelations et leur évolution dans le temps sont aussi décrites. BMS , Analyse classificatoire, Analyse factorielle des correspondances, Evolution thématique, Bibliométrie.
ONGOING RESEARCH
RECHERCHE EN COURS
FIEVRE EUROPEENNE D’EVALUATION DE LA RECHERCHE DANS LES SCIENCES SOCIALES
Abstract - European Research Evaluation Fever in the Social Sciences : After hitting Germany recently, the European fever of evaluating research in the social sciences has hit France with the classification of research journals by the official AERES. This dossier of the BMS consists of three contirbutions concerning bibliometrics, evaluation and the recent AERES classification. We reprint the “Introduction” of the research report byYves Gingras (UQAM), “Research Evaluation Fever - Bad Use of False Indicators”. We then publish a report by Laurence Coutrot (CMH-CNRS), “On the Recent Use of Bibliometric Indicators as Evaluation Tools in Scientific Research”, concerning the recent CNRS meeting on the question of bibliometrics. This is followed by a report prepared by François Briatta (ANCMSP). The French Agency for the Evaluation of Research and Higher Education (AERES) recently published journal rankings in the human and social sciences. This document compares AERES rankings for francophone journals in sociology/demography and political science with two former rankings, by Philippe Jeannin and by the authors of a CNRS-sponsored “Periodicals study” respectively. We first observe that the threefold classification used in each ranking resorts to different criteria, in such a way that no methodological consensus seems to emerge from the comparison. The rankings themselves are starkly heterogeneous : in political science, only 11 journals appear in the two compared rankings, only eight of them with the same rank. In sociology/demography, 26 “ranking agreements” and 17 divergent rankings are observed within the range of comparable journals. Bibliometrics, Research Evaluation, France, CNRS, AERES.
Résumé : Après l’Allemagne récemment, la fièvre européenne d’évaluation de la recherche en sciences sociales a touché la France avec la classification des revues scientifiques par l’AERES. Ce dossier du BMS comprend trois contributions concernant la bibliométrie, l’évaluation et la récente classification de l’AERES. Nous reproduisons l’« Introduction » du rapport de recherche d’Yves Gingras (UQAM), « La fièvre de l’évaluation de la recherche - Du mauvais usage de faux indicateurs ». Ensuite, nous publions un rapport par Laurence Coutrot (CMH-CNRS), « Sur l’usage récent des indicateurs bibliométriques comme outil d’évaluation de la recherche scientifique », compte-rendu de la récente réunion d’information du CNRS sur la bibliométrie. Ce rapport est suivi par celui préparé par François Briatta (ANCMSP), « Comparaison inter-classements des revues en sociologie-démographie et en science politique ». L’Agence d’Evaluation de la Recherche et de l’Enseignement Supérieur (AERES) a récemment publié des classements de revues en sciences humaines et sociales. Ce document compare les classements de revues francophones établis par l’AERES pour la sociologie/démographie et pour la science politique avec deux classements antérieurs, établis par Philippe Jeannin et par les auteurs de « l’enquête Périodiques » du CNRS respectivement. On remarque tout d’abord que la classification en trois rangs obéit à des critères différents selon les classements, de telle sorte qu’aucun consensus méthodologique ne se dégage en termes de critères de classification. Les classements eux-mêmes sont fortement hétérogènes : en science politique, seules 11 revues sont présentes dans les deux classements comparés, dont huit uniquement à rang égal. En sociologie/démographie, on compte 26 accords de classement et 17 divergences lorsque la comparaison est possible. Bibliométrie, Evaluation de la recherche, France, CNRS, AERES.
La fièvre de l’évaluation de la recherche - Du mauvais usage de faux indicateurs
par
Yves Gingras
(UQAM, gingras.yves@uqam.ca)
La fièvre de l’évaluation de la recherche - Du mauvais usage de faux indicateurs, par Yves Gingras, CIRST (www.cirst.uqam.ca) - Note de recherche 2008-05, isbn 978-2-923333-39-7, http://www.cirst.uqam.ca/Portals/0/docs/note_rech/2008_ 05. pdf (« Introduction » reproduite avec la permission de l’auteur)
SUR L’USAGE RECENT DES INDICATEURS BIBLIOMETRIQUES COMME OUTIL D’EVALUATION
DE LA RECHERCHE SCIENTIFIQUE
par
Laurence Coutrot
(CMH-CNRS-ENS-EHESS, laurence.coutrot@ens.fr)
COMPARAISON INTER-CLASSEMENTS DES REVUES EN SOCIOLOGIE-DEMOGRAPHIE ET EN SCIENCE POLITIQUE
par
François Briatte
(ANCMSP, f.briatte@ed.ac.uk)
