Apprendre à résumer des textes à l’aide d’un logiciel

Une série de trois études montre une amélioration de la qualité des résumés produits par des élèves avec l'usage d'un logiciel. Les résultats s'expliquent par le type d'évaluation fournie automatiquement pour chaque résumé, une pratique encadrée de l'activité et l'utilisation de stratégies spécifiques par les élèves.

Élaborer un résumé pour montrer que l’on a bien compris un texte lu est une activité essentielle faisant partie des programmes scolaires dès l’école primaire. En effet, l’une des capacités à acquérir en maîtrise de la langue française écrite, dans le cadre du socle commun, est celle de "résumer un texte". L'activité de résumer est aussi relativement complexe et elle continue à être pratiquée par les élèves tout au long du collège et du lycée. Les TICE peuvent-elles aider les élèves à améliorer la qualité de leurs résumés ? Si oui, comment ?

Dans cet article, nous présentons les résultats de la recherche menée par Donna Caccamise et son équipe (université du Colorado) sur l’acquisition de l’écrit et la production de résumés avec les TICE. Ces chercheurs ont mené une série d’études auprès de collégiens pour tester les effets d’une pratique encadrée du résumé à l’aide d’un logiciel, nommé Summary Street. Celui-ci analyse les textes produits par les élèves et fournit une évaluation qui leur permet d’améliorer leurs performances. Le logiciel se base sur une technique d’analyse de la sémantique textuelle, qui elle-même a fait l’objet de nombreuses recherches depuis les années 90. En France, nous pouvons citer notamment les travaux de Benoît Lemaire et Philippe Dessus, de l’Université de Grenoble, qui utilisant cette technique ont crée un système d’évaluation d’essais d’étudiants avec des résultats encourageants (voir Références).

Après avoir rédigé son résumé, l’élève le soumet au logiciel, qui le compare au texte de référence et l’analyse selon plusieurs critères :

• le nombre de mots employés (longueur du résumé),
• l'orthographe,
• la présence de mots clés,
• le taux de couverture des principales thématiques du texte,
• l'utilisation par l'élève de « ses propres mots » (vérification d’un possible plagiat, de copier-coller, etc.),
• la pertinence des informations insérées (informations sélectionnées, niveau de détails retenus, répétitions, etc.).

Ensuite, le logiciel fournit à l’élève une page de bilan. Les résultats sont affichés graphiquement, sous la forme de barres horizontales montrant le degré de couverture de chaque section thématique du texte par le résumé. Une barre verticale indique si la longueur du résumé est convenable. En fonction des résultats, l’élève peut corriger son résumé et à nouveau le soumettre à l’analyse (l’enseignant peut déterminer le nombre d’essais possibles).

Des liens spécifiques permettent aussi d’accéder aux phrases problématiques. Ici, le logiciel se concentre sur les problèmes liés au sens du texte, plutôt que sur l’expression écrite (fautes d’orthographe, d’accord, etc.).

Des améliorations dans la qualité des résumés des élèves provoquées par l’utilisation du logiciel ont déjà été démontrées dans des études de laboratoire menées par l’équipe de David Wade-Stein et Eileen Kintsch, de l’université du Colorado. Donna Caccamise et son équipe se concentrent à leur tour plus particulièrement sur la durabilité des effets.

Étude 1 – effets de l’usage du logiciel
Cette étude a été réalisée auprès de 140 collégiens, de la 6e à la 3e, pendant une année scolaire. Tous les élèves ont réalisé des résumés au cours de l’année, mais seulement la moitié des élèves avaient accès au logiciel. Un test de production de résumé (sans utilisation du logiciel) a été appliqué en début et en fin d’année. Les résultats montrent une amélioration significative des performances uniquement chez les élèves ayant utilisé le logiciel.

Étude 2 – effets de la pratique guidée
Cette deuxième étude avait pour objectif d’avoir un contrôle plus strict des conditions de production des résumés et d’évaluer l’effet de la pratique guidée par le logiciel. Les élèves de quatre classes de 4ème ayant le même enseignant ont participé à des séances hebdomadaires de production de résumés, pendant 4 semaines. Tous ont reçu les mêmes consignes de production, mais seulement la moitié des élèves a bénéficié du guidage fourni par le logiciel. L’autre groupe a utilisé un traitement de texte.

Les résultats montrent que :

• les deux groupes sont parvenus à résumer approximativement le même nombre de textes,
• le groupe utilisant le logiciel a surpassé le groupe contrôle sur le taux de couverture des textes de référence, la suppression des informations non importantes, le nombre d’informations pertinentes incluses dans les résumés (et ce, d’autant plus lorsque les textes étaient complexes),
• les élèves aux capacités en lecture faibles à moyennes sont ceux qui bénéficient le plus du logiciel.

Étude 3 – utilisation de stratégies
Dans cette étude, les chercheurs ont tenté d’identifier la présence de stratégies liées à l’écriture de résumés et de vérifier que le logiciel contribue à l’acquisition de ces stratégies dites métacognitives. Cette fois, les participants étaient des étudiants de licence. Ils ont suivi quatre séances d’une heure de production de résumés. La moitié d’entre eux ont utilisé le logiciel, les autres un traitement de texte. Dans le même temps, on leur a demandé de dire à voix haute ce qu’ils faisaient pour comprendre leurs actions.

Chaque commentaire était catégorisé comme étant une stratégie de planification, d’évaluation ou de régulation, ou « autre » (pas de stratégie). Les résultats montrent que, par rapport au groupe contrôle, les participants se servant du logiciel utilisent beaucoup plus souvent des règles pour condenser les textes (planification), contrôlent davantage le niveau de leurs performances (évaluation), vérifient leurs notes et modifient leur production plus fréquemment (régulation).

Les études présentées par Donna Caccamise et son équipe permettent de conclure que la pratique guidée de production de résumés à l’aide d’un logiciel d’analyse sémantique permet d’améliorer les performances des élèves, plus particulièrement ceux dont les capacités en lecture sont faibles ou moyennes. En outre, l’amélioration des performances semble durable lorsque la pratique du résumé avec l’utilisation du logiciel est régulière.

L’efficacité de cette pratique tient au fait que l’élève est incité à améliorer son texte en étant plus activement engagé dans le processus de compréhension et de production écrite. Comparée à une simple pratique répétitive et sans retour de l’activité de résumer, l’utilisation du logiciel les aide à construire une meilleure représentation du texte.

Le logiciel Summary Street a été crée par le laboratoire de recherche de l’université du Colorado. Il est disponible uniquement en anglais (consulter le menu « voir aussi »). Cependant, les principes de son fonctionnement peuvent être appliqués dans l’évaluation d’autres outils en langue française, permettant aux enseignants de se référer à des critères précis dans leur analyse. Pour plus d’informations sur l’analyse sémantique des textes, en Français, voir la page de l’université de Grenoble citée ci-dessus et les références bibliographiques.

Sonia Mandin - titulaire d’une thèse et ingénieure de recherche en sciences de l’éducation (Grenoble-2, LSE)

Frédéric Occédat - ingénieur en informatique

date de publication : 03/09/2010

• Dans l’analyse de logiciels d’aide à la rédaction de textes ou de production de résumés, s’assurer que l’outil fournit à l’élève une évaluation structurée, où plusieurs critères sont distingués,
• Privilégier les aides qualitatives, qui traitent des différents critères de qualité d’un résumé (taux de couverture du texte principal, reformulation des phrases, pertinence des informations),
• Encourager la pratique encadrée et régulière du résumé, en particulier pour les élèves dont le niveau en lecture est faible à moyen.

• Caccamise D., Franzke M., Eckhoff A., Kintsch E & Kintsch W. (2007), “Guided practice in technology-based summary writing”, in D. McNamara (Ed.), Reading Comprehension Strategies: Theories, Interventions and Technologies (p. 375-396), USA, Laurence Erlbaum Associates.
• Wade-Stein D. & Kintsch E. (2004), “Summary Street: Interactive computer support for writing”, Cognition and Instruction, 22, 333-362.
• Dessus, P. & Lemaire. B. (1999). Apex, un système d'aide à la préparation d'examens. Sciences et Techniques Éducatives, 6-2, 409-415
• Lemaire, B & Dessus, P. (2001). A System to Assess the Semantic Content of Student Essays. Journal of Educational Computing Research, 24-3, 305-320.

• Le résumé - scénario d'Edubases
• Lexique, séquence Les Fabliaux - scénario d'Edubases
• Écrire en interdisciplinarité - scénario d'Edubases
• L'écriture - sélection thématique INRP
• Summary Street – U. Colorado [en anglais]