Arnaud Coatriné

Ce que les tests ont montré

• Les arrêtés préfectoraux varient beaucoup dans leur forme. Le formulaire a été revu pour que chaque agent puisse saisir correctement les identités.
• Plusieurs libellés et formulations de questions ont été corrigés.
• Les tests ont aussi fait apparaître des incohérences dans les règles elles-mêmes : une interdiction prononcée dans le champ du sport ou de la jeunesse s'applique à l'autre champ dans un sens, mais pas dans l'autre. Ces questions ont été remontées à la direction métier, en vue d'un éventuel arbitrage.

Mon rôle

J'ai conçu et conduit les études, puis analysé les résultats, auprès d'agents des services déconcentrés. L'équipe design a codé le prototype avec Claude Code : les agents réalisent les tâches comme sur le vrai produit.

L'IA dans l'étude

Elle m'a aidé à cadrer à partir du code du prototype, à rédiger le guide et à mettre en forme les résultats, sans recevoir aucune donnée de participant. Voir le workflow détaillé

Démarche

• Une dizaine d'entretiens à distance, en anglais, avec des opérateurs en Allemagne, en Inde et aux États-Unis.
• Une journée complète aux côtés d'un opérateur, avant, pendant et après une key ceremony, avec une grille d'observation papier.

Résultats

Chaque opérateur devait retenir de nombreux mots de passe : sûr en théorie, mais en pratique, ils les notaient sur papier. J'ai recommandé de les remplacer par une carte à empreinte digitale, un produit d'IDEMIA. Le rapport a été remis aux équipes produit à la fin de ma mission.

Autres travaux

Tests de guérilla à La Défense d'un capteur d'empreinte pour carte bancaire : position des doigts selon la latéralité, fiabilité, durée de reconnaissance. Mise en place du repository Usage. Pas d'IA sur cette mission, pour des raisons de sécurité.

Démarche

Mission au sein de l'équipe recherche, avec sa responsable et un profil Research Ops.

• Un rythme d'entretiens hebdomadaire pour chaque binôme, avec des thèmes qui évoluent.
• Un recrutement automatisé avec Brevo lui-même : le PM importe une liste, l'outil envoie l'invitation et le consentement, puis un lien de prise de rendez-vous.
• Des modèles et un accompagnement méthodologique.

Impact

Le contact régulier avec les utilisateurs a aligné chaque squad sur leur réalité.

Limite

Il était difficile de clore un thème : les équipes concluaient au fil des entretiens sans toujours rédiger de synthèse. L'IA permettrait aujourd'hui d'en automatiser une partie.

Démarche

• Centralisation de toutes les sources dans EnjoyHQ.
• Tri par mots-clés et attribution automatique à chaque squad.
• Segmentation : utilisateurs actifs, prospects, clients partis.

Résultats

Chaque mois, les heads of présentaient les retours de leur périmètre et arbitraient entre corrections et nouvelles fonctionnalités. Les courbes montraient la baisse des demandes au support et aux sales après une release corrective, et faisaient apparaître les nouveaux besoins. Le NPS était suivi d'un mois sur l'autre.

Conduite du changement

Le dispositif demandait aux heads of de lire et qualifier les retours. Le soutien du cofondateur a été décisif.