Tracker d'expérience client et audit par client mystère

Mandats et repères

CaribTel Communications est un opérateur télécom fictif présent en Jamaïque, à Trinité-et-Tobago et à la Barbade. Son NPS est passé de 42 à 28 en dix-huit mois. Le département expérience client commande un tracker trimestriel pour identifier les causes du recul et suivre les effets de ses actions dans chaque pays.

La Banque Continentale des Antilles est une banque fictive de 24 agences en Martinique, Guadeloupe et Guyane française. Depuis 2024, son service client reçoit des remontées divergentes selon les territoires, sans pouvoir trancher entre un écart réel de qualité et un biais de perception dans les enquêtes de satisfaction. L'audit par client mystère doit fournir des résultats utilisables à l'échelle de chaque agence.

En vague 3, le NPS d'ensemble progresse de 1,9 point et celui de la Barbade recule de 7,2. À la BCA, la moyenne réseau de 60 couvre des scores d'agence allant de 34 à 97. Les restitutions descendent au pays pour CaribTel et à l'agence pour la BCA.

Protocoles et instruments de collecte

Le tracker recueille des perceptions à faible coût auprès d'un grand échantillon. Chaque observation de l'audit exige une visite en agence. Les plans de collecte comptent ainsi 1 200 réponses pour CaribTel et 120 visites pour la BCA.

Discrétion et précision de l'observation

L'enquêteur enregistre deux horodatages dans ODK Collect. T1 précède son entrée dans l'agence et T4 suit sa sortie. Les durées d'attente et de service sont renseignées après la visite, en minutes déclarées.

Un chronométrage au guichet serait plus précis. La manipulation du téléphone devant le conseiller risquerait cependant de révéler l'enquêteur et d'invalider la visite. Le rapport consigne cet arbitrage et traite les durées comme des estimations déclarées après la visite.

La grille BARS rattache chaque niveau à un comportement observable. Cette méthode réduit la part d'appréciation personnelle et aide deux enquêteurs à noter une visite de manière cohérente.

Six dimensions et leurs poids

Les maximums bruts diffèrent d'une dimension à l'autre, et le maximum de M5 varie selon le scénario. La repondération empêche le nombre d'items d'avantager une agence. Chaque dimension est ramenée à un pourcentage de son propre maximum avant l'application des poids. Ces poids reflètent les priorités de la banque indépendamment de la longueur du questionnaire. L'exécution du service reçoit ainsi trois fois le poids de l'environnement extérieur.

Le questionnaire déclaratif

L'instrument CaribTel est un XLSForm de vingt-quatre questions avec sauts conditionnels, calculs et validations, servi par Enketo après invitation par SMS. Il produit quatre indicateurs dont la définition demeure identique d'une vague à l'autre.

Le NPS agrège une échelle de onze points en trois classes. Le déplacement d'une borne d'un cran suffirait à créer une tendance artificielle. Sa définition est donc fixée dans le protocole avant la première collecte.

Échantillonnage et comparabilité

Plan d'échantillonnage CaribTel

L'échantillon est tiré de façon stratifiée aléatoire par pays croisé avec le type de produit, à raison de 400 réponses par pays en vague 1. Cette répartition égale diffère de la structure de la clientèle, où la Jamaïque représente à elle seule 52 % de la base.

La répartition égale garantit à chaque marché une marge d'erreur utilisable, ici ±2,8 points à 95 %, y compris au plus petit. Avec un tirage proportionnel, l'effectif de la Barbade aurait été trop faible pour interpréter ses variations. Une post-stratification par pays rétablit ensuite les poids du CRM lors du calcul du résultat d'ensemble.

Les effectifs égaux donnent une précision comparable dans les trois pays. Le résultat d'ensemble utilise ensuite les poids du CRM pour retrouver la structure de la clientèle.

Plan d'échantillonnage BCA

Cent vingt visites réparties entre vingt-quatre agences et cinq scénarios donnent exactement une visite par agence et par scénario. Le plan couvre toutes les combinaisons prévues.

Chaque agence passe par les mêmes cinq scénarios. La composition des visites ne peut donc expliquer à elle seule un score élevé ou faible. Cette structure permet de comparer les agences malgré un effectif de cinq visites, insuffisant pour estimer avec précision la qualité absolue d'une agence.

Le classement porte sur la position relative de chaque agence parmi les vingt-trois autres, observées dans les mêmes conditions.

Le même instrument est administré à de nouveaux échantillons tirés du même univers. Les écarts observés sont ensuite testés.

Questionnaire inchangé

Les vingt-quatre questions, leurs libellés et leurs ancres d'échelle sont identiques sur les trois vagues. Le module ad hoc de la vague 3 ajoute trois questions sur la perception des prix à la fin du questionnaire. Le tronc commun reste inchangé et conserve ainsi la continuité de la série.

Nouveaux répondants à chaque vague

Chaque vague interroge un nouvel échantillon tiré du même univers. Cette méthode évite l'attrition et l'accoutumance au questionnaire qui affecteraient un panel suivi dans le temps.

L'analyse mesure l'évolution de la proportion de clients mécontents entre les vagues 2 et 3. Elle ne suit pas le changement d'opinion d'un même client.

Tests entre vagues

Chaque écart entre vagues passe par un test z de comparaison de deux proportions, au seuil de 5 %, avec la notation habituelle des trois étoiles. À 1 550 réponses, un écart de deux points sur une proportion peut relever du bruit d'échantillonnage.

En vague 3, le NPS d'ensemble gagne 1,9 point sans variation statistiquement significative. La baisse de l'intention de résiliation est significative.

Résultats et niveau de restitution

Le niveau national de CaribTel et la moyenne du réseau BCA ne suffisent pas à guider les interventions.

Le recul de la Barbade

Entre les vagues 2 et 3, CaribTel a lancé un bundle fidélité en Jamaïque et à Trinité-et-Tobago. La Barbade n'en a pas bénéficié. Le tableau de bord d'ensemble affiche une amélioration sur les quatre indicateurs.

Au niveau de la Barbade, le NPS perd 7,2 points et tombe à −37,6, l'intention de résiliation franchit la barre des 50 % en gagnant plus de dix points, et 37 % des détracteurs y citent le prix comme motif principal. Un concurrent, Flow, y devient la destination de report préférée.

La Jamaïque représente 52 % de la base. Sa reprise pèse davantage dans le chiffre d'ensemble que la dégradation d'un marché plus petit. Chaque indicateur est donc présenté par pays avec son test.

La dispersion des scores d'agence

Le score composite du réseau bancaire s'établit à 60 sur 100, bande C. Les scores d'agence montrent la dispersion autour de cette moyenne.

Quinze agences sur vingt-quatre sont classées D ou F. Quatre sont exemplaires au-dessus de 91. L'écart médian au score réseau dépasse douze points, et six agences relèvent d'une escalade en direction générale.

Un écart présent dans plusieurs agences d'un même territoire ou d'un même tier conduit à revoir une procédure. Lorsqu'il se limite à une agence, l'accompagnement cible cette agence. La dispersion par tier et par zone d'implantation signale un écart de qualité dans les données simulées.

La restitution comprend vingt-quatre fiches individuelles, une par agence, et un plan d'action gradué par bande.

Exclusions et traçabilité

Chaque chaîne enregistre les observations exclues et leur motif dans un fichier distinct des données analysées.

L'export brut CaribTel de la vague 1 contient 2 400 soumissions et la chaîne en retient 1 200, soit exactement la moitié. Elle déduplique les identifiants répétés, retire les non-clients écartés par le filtre d'entrée et valide les étendues. Un NPS hors 0-10 ou un CSAT hors 1-5 signale une saisie corrompue. Elle contrôle aussi la logique des sauts et les anomalies d'horodatage.

Un taux de rejet de 50 % serait alarmant sur une collecte réelle. Ici, des cas invalides ont été ajoutés à l'export simulé pour tester la chaîne de nettoyage. Le fichier wave1_cleaning_audit.xlsx conserve l'audit complet et permet de reconstituer la population de départ à partir de la population analysée.

Le rapport BCA retient les visites après exclusion des cas frauduleux, notamment lorsqu'un enquêteur remplit sa grille sans être entré dans l'agence. Le GPS et les horodatages T1 et T4 permettent de détecter ces cas. Leur exclusion relève d'une étape dédiée de la chaîne, 03_scripts/02_detection_fraude.R. Les règles exactes de cette étape ne sont pas reproduites ici, faute d'avoir pu accéder au fichier.

Portée des données simulées

Les données simulées servent à tester la conception et l'exécution des dispositifs. Elles ne décrivent aucune entreprise réelle.

Éléments évalués

L'exercice vérifie le fonctionnement du XLSForm, de ses sauts, calculs et validations, ainsi que de la grille comportementale à six modules et du guide d'enquêteur. Il couvre également le plan de collecte, la chaîne de traitement relançable, l'architecture de scoring et les règles de restitution.

Résultats fictifs

La relation quasi linéaire entre ancienneté d'agence et score composite, la supériorité des zones urbaines denses et l'effondrement de la Barbade ont été intégrés au générateur de données. Les associations retrouvées proviennent donc des paramètres de simulation.

Ces résultats servent à vérifier que la chaîne retrouve les motifs attendus et que le rapport les restitue correctement. Leur utilité se limite à cette validation technique.

Contrôles requis sur le terrain

Une collecte réelle demanderait deux contrôles supplémentaires. La fidélité inter-enquêteurs se mesure en faisant noter les mêmes visites par plusieurs personnes. Le biais de non-réponse du tracker doit aussi être étudié, car un client mécontent et un client indifférent peuvent répondre à une invitation SMS avec des probabilités différentes. Ce biais persiste après une post-stratification par pays.

Reproduire

Les chaînes CaribTel et BCA sont écrites en R et s'exécutent script par script, dans l'ordre. Les sorties écrites sur disque permettent de reprendre à mi-parcours.

# Une vague = simulation, nettoyage, analyse. Trois fois.
source("04_scripts/01_simulation.R")
source("04_scripts/02_clean.R")
source("04_scripts/03_analysis.R")
# ... 04 a 06 pour la vague 2, 07 a 09 pour la vague 3

rmarkdown::render("05_report/caribtel_csat_report_wave1.Rmd")
rmarkdown::render("05_report/caribtel_csat_tracker_w1_vs_w2.Rmd")
rmarkdown::render("05_report/caribtel_csat_tracker_w2_vs_w3.Rmd")

Les graines aléatoires sont fixées et déclarées, 2026 pour la vague 1, 2028 et 2030 pour les suivantes, avec R 4.3.1 et tidyverse 2.x. Elles garantissent la reproduction du même rapport et la concordance des chiffres cités avec les figures.

Dans les deux premières étapes, le nettoyage précède la détection de fraude. Il corrige les erreurs de saisie susceptibles de déclencher une alerte injustifiée. Les visites frauduleuses sont ensuite exclues avant la dérivation des scores et le calcul de la moyenne d'agence.

Les livrables comprennent le rapport tracker vagues 2 et 3 et le rapport d'audit BCA. Le tableau de bord des 24 agences est publié à part.

Les figures de cette page sortent de docs/enquetes/figures/documentation_figures.py. Les données des projets ne sont pas versionnées dans le portfolio. Leurs valeurs sont transcrites des rapports ci-dessus, avec la référence du tableau correspondant. Deux assertions vérifient les totaux publiés.