Pour quels objectifs ?

Valéry Frémaux : Nous accompagnons les objectifs d'organisations qui nous demandent de mettre en place des système d'information pédagogiques. A ce titre, nous préconisons des objectifs non formulés, latents, ou pour quelques-uns présents et demandés.

Pour la formation continue, la notion de statistiques d'apprentissage émerge de manière très opérationnelle, ne serait-ce que parce que le financement a besoin d'extraire des données d'usage des preuves d'usage pour pouvoir financer la formation, ne serait-ce que parce que la plupart de ces organismes ont un business model qui est quand même lié à la popularité des formations qu'ils ont, et donc sont en obligation de rendre compte aux donneurs d'ordres que sont les régions ou les collectivités territoriales, notamment en France c'est comme cela que ça fonctionne, sur la pertinence, la popularité et l'effectivité de formations par rapport aux modules de formation, aux programmes de formation qu'ils diffusent.
Donc cette convergence fait que dans le domaine la formation continue n'a une croissance assez importante de la prise de conscience de ce que les statistiques d'apprentissage ne sont pas simplement un outil d'étude et un outil de recherche mais deviennent un outil de gestion opérationnelle voire gestion marketing – c'est un petit peu trop - mais je dirais de gestion d'exploitation et de gestion de pilotage politique des relations avec les donneurs d'ordre.
Ensuite il y a les objectifs émergents, qui sont le fait d'entrevoir je dirais une évolution de la pratique de l'enseignement numérique, qui est toute logique, tracée par les grands consommateurs d'informatique de données qui ont devancé l’Éducation, car l’Éducation est en retard par rapport à ce que je disais tout à l'heure sur la finance et le commerce.

Pourquoi ?

Valéry Frémaux : Tout simplement c'est parce que la chaîne de valeur est beaucoup plus longue dans l’Éducation que dans le commerce ou la finance : pour la finance, la chaîne de valeur est immédiate, vous traitez des chiffres, des comptes en banque qui sont des chiffres, la chaîne de valeur c'est la vente de services ou la vente de frais de tenue de compte directement liés à votre chaîne de valeur.
Dans le commerce c'est un peu plus indirect : vous avez des magasins qui sont physiques, vous avez une pratique d'achat qui est physique, de plus en plus numérique en ligne et cela rapproche, raccourcit le chemin économique, mais même sur le commerce standard, on sait que la grande distribution avec leur installation physique ont une chaîne de valeur dans laquelle le Data Analytics leur permet de réagir sur l'efficacité de leur disposition, l'efficacité de leur approvisionnement, l'efficacité de leur choix produits et donc du coup l'efficacité de leur chiffre d'affaires, de leurs marges et en temps relativement réel puisque c'est en général compilé le soir etc.

La différence avec l’Éducation, c'est que la chaîne de valeur étant beaucoup plus longue, c'est à dire en gros les établissements d'éducation ne sont pas directement rémunérés à l'acte d'enseignement qu'ils produisent, ils sont structurellement rémunérés par la collectivité sociale dans un consensus qui est un consensus organisé par le ministère de l'Enseignement Supérieur, par le Ministère de l’Éducation Nationale, par le secteur public en grande partie, et dans les institutions privées cela est quand même énormément normalisé par l'enseignement contractualisé avec l’État.

Nous sommes dans un domaine où la chaîne de valeur est beaucoup moins évidente et que donc la mise en œuvre des statistiques d'apprentissage a beaucoup plus tardé à émerger d'abord comme un intérêt, parce que tout a démarré plus lentement. Ensuite, nou savons que tout ce qui est de l'ordre statistiques d'apprentissage a un coût de mise en œuvre important parce que les problèmes à traiter sont complexes, la définition des indicateurs est complexe, leur mise en œuvre complexe, dès que l'on commence à manipuler une masse de données importante, nous avons des problèmes de performance, de complexité de système, d'optimisation de quantités de données à transporter, à sauvegarder, à backuper, à calculer qui entraînent la mobilisation d'infrastructures lourdes, coûteuses, et que donc à partir du moment où l'on n'a pas mis en relation les gains de ce que le statistiques d'apprentissage vont produire dans la chaîne économique globale de l'éducation.

Ce sont encore des précurseurs, des francs-tireurs qui se lancent, des personnes qui sont passionnées par le sujet et qui ont vraiment envie de développer une stratégie d'optimisation des comportements, d'optimisation des pratiques, etc. mais on en a beaucoup plus de mal à justifier ça au niveau, aujourd'hui, d'une décision opérationnelle, d'une d'administration quotidienne.
La difficulté en enseignement numérique c'est la perte de vision, la perte du poste d'observation que l'enseignant a de ces apprenants. Quand on est en salle de TD, quand on est dans un amphi – un peu moins dans dans un amphi surtout s'il est sombre – l'enseignant a une certaine capacité à percevoir la méta-communication, le méta-comportement, notamment plus la salle est petite, on le sait, mieux c'est, et ça c'est quelque chose que l'on perd complètement dans le mécanisme de l'enseignement numérique puisqu'on on asynchronise complètement la relation, on met un filtre, se dire qu'il n'y a plus de méta-comportement, et éventuellement dans des forums et dans chats, mais ça reste est une métaphore très partielle et donc les statistiques d'apprentissage vont nous permettre de rétablir cette perception perdue, si nous disposons de suffisamment de données suffisamment exhaustives sur la pratique de l'apprenant pour que l'indicateur ait une signification qui ne soit pas biaisée par le fait qu'il ne travaille que sur une toute partie de données, et qui évidemment si on observe qu'une partie de données  on peut louper un phénomène majeur qui n'est pas dans les données.
La difficulté est que l'on sait très bien que par exemple si vous faites un moteur de recherche multi-critères, si vos données ne sont pas indexées au départ, votre moteur de recherche ne donne pas de bons résultats.
C'est identique pour les statistiques d'apprentissage : si vos données ne sont pas saines au départ, c'est à dire ne sont pas suffisamment exhaustives, ne correspondent pas à une capture je dirais implicite du comportement de l'apprenant, elles seront faussées. C'est pour cela qu'aujourd'hui les bons indicateurs sont ceux qui travaillent non pas sur les attentes explicites de l'enseignant : je mets une activité je m'attends à ce que l'apprenant la fasse, réalise tel séquence dans l'activité mais sont plutôt sur ce qui relève de la production implicite de données du fait d'un comportement naturel d'utilisateur, d'un apprenant dans le système.
C'est à dire qu'à partir du moment où l'utilisateur va comprendre la relation entre ce qu'il fait et l'indicateur et la mesure qui va être faite à partir de son comportement, il va être capable de biaiser complètement la mesure (sincérité des réponses, volonté de tromper le système).

A partir du moment où l'indicateur porte sur des données qui sont des produits implicites de son activité, qu'il ne peut pas contrôler, conscientiser, ou facilement comprendre l'indicateur commence à devenir crédible.
C'est ça la difficulté actuelle des statistiques d'apprentissage, que j'avais observée lors de la mise en place d'indicateurs pour une expérimentation avec les apprenants ; je me suis posé la question de dire est-ce que j'explique aux apprenants ce que je fais ou pas en terme de système de tracking et de système de mesure ?


Cela permettait déjà d'avoir une vue sur la pratique ...
Valéry Frémaux : Cela nous permettait de commencer à évaluer les apports et les avantages, de rajouter cette asynchronie de contact avec la matière, sachant que une étude précédente que j'avais menée justement dans le cadre de mon master de recherche était de démontrer que finalement le résultat d'un apprenant sur une matière dépend plus du temps de contact qu'il a avec la matière que de la nature de la pédagogie qui est utilisée.
Sur les formations longues, où un sujet va être traité pendant 3 à 4 mois on se rend compte que de manière quasi statistique et systématique la réussite de l'apprenant dépend du temps qu'il a passé sur la matière.

Quelque part c'est la loi des nombres …
Valéry Frémaux : C'est la loi des nombres, absolument.
Aujourd'hui dans le contexte d'Internet avec un accès généralisé à l'information si le cours n'est pas très bon mais que dans le diplôme ou dans le bulletin de note, la matière est stratégique, bien coefficientée, l'apprenant trouvera toujours une remédiation sur internet pour compléter son cours, sa connaissance et réussir l'examen.

Pour vous la qualité du cours est secondaire ?
Valéry Frémaux : Elle commence à le devenir, parce que la proportion d'apprenants  sensibles à une vision d'expert, une finesse de décodage des concepts etc. est faible.
Tu te rends compte que de toute façon on sait qu'aujourd'hui dans les populations d'apprenants aujourd'hui si on arrive à toucher 5 à 10 % de la promo on est déjà content. Le elearning est donc une façon d’accroître artificiellement le temps de contact au-delà des heures que l'enseignant a consacré.

Pour ces objectifs là à partir du moment où on fait ce constat là, l'enseignant devient un stratège qui va utiliser des ressources asynchrones et des ressources numériques soit en complémentation pour accroître ce temps de contact avec sa matière, soit éventuellement à remplacer la partie présentielle ou lui permettre de diminuer son intervention en présentiel tout en maintenant la capacité de temps de contact qui va générer la compétence ou la profondeur de connaissance ou la solidité de connaissance de l'apprenant sur le sujet .

A partir de ce moment-là le prof devient stratège pour dire j'aimerais quand même savoir dans mon enseignement ce que je donne et qui est mal perçu parce que l'apprenant ne comprend pas que c'est important donc je l'enrobe mal, ce que je donne ce qui me semble moins important mais dont l'apprenant se fout peut-être parce qu'il y a une raison c'est que l'air du temps ou bien le modèle que j'ai de ma matière est aujourd'hui daté et que un certain nombre de sujets sont devenues obsolètes sans que je m'en aperçoive parce que moi je suis dans une vision un peu réifiée de la matière car j'en suis un spécialiste, et pour moi tout est fondamental et important ; mais dans le profil d'apprenant qui correspond au diplôme que nous sommes en train de délivrer par rapport au marché que nous sommes en train de nourrir, peut-être que ces éléments de cours ne sont plus finalement si importants que ça, et qu'à ce moment là ces outils là vont permettre surtout dans la partie décodage des fréquentations des contenus, vont permettre d'avoir un outil d'observation qui permettra de requestionner sur le cours parce que finalement tu peux toujours penser : je vais rajouter plein de trucs dans mon cours pour augmenter artificiellement le temps de contact, mais pour quelle efficacité cognitive réelle ?

A la fin on sait qu'à un moment donné plus on en met, plus on favorise le décrochage, la confrontation avec la masse des collègues, parce que les collègues ont tendance à dire lui il a mis plein de trucs dans son cours, les apprenants vont s'épuiser dans son cours et plus bosser sur le mien (équilibre, dosage des enseignements dans un cursus, surcharge cognitive, ndr), on arrive dans un engrenage : si l'on dispose des outils de statistiques d'apprentissage soit c'est chaque enseignant qui peut faire le pilotage de l'efficacité de son cours, soit avoir un directeur de la pédagogie qui est capable de superviser et de réagir en disant vous dépassez tous d'accumuler dans vos cours des injonctions, des objectifs pédagogiques qui vont dépasser la capacité (cognitive) apprenante, et qui peut réguler l'ensemble.