Guide pédagogique

Guide enseignant — Didacticiel Rouge/Vert (Attribute MSA)

Destiné aux chefs d'équipe qualité et auditeurs IATF/ISO. Ce document accompagne le didacticiel interactif Attribute MSA pour une séance de 2 heures, kappa de Cohen et de Fleiss à l'appui.

1. Objectifs pédagogiques

À l’issue de la séance, le participant doit être capable de :

  1. Distinguer un contrôle variable (mesure numérique) d’un contrôle attributif (jugement binaire ou catégoriel), et savoir choisir la méthode MSA adaptée.
  2. Calculer un Cohen’s κ pour 2 évaluateurs et l’interpréter par rapport au %agreement brut.
  3. Comprendre pourquoi %agreement seul est trompeur — mécanisme de correction du hasard (Pe).
  4. Généraliser à Fleiss’ κ pour 3+ évaluateurs et interpréter la matrice pairwise.
  5. Classer un κ selon les seuils Landis-Koch / AIAG (excellent, acceptable, marginal, rejeté).
  6. Mesurer l’effectiveness vs une référence et identifier miss rate et false alarm rate.
  7. Diagnostiquer la cause d’un κ faible : opérateur divergent, critère flou, pièces ambigües, biais systématique.
  8. Éviter les 6 pièges classiques de l’Attribute MSA terrain.

2. Prérequis

  • Notions de probabilités élémentaires (proportion, hasard).
  • Expérience d’un contrôle qualité réel (visuel, sensoriel ou instrumental).
  • Avoir vu le didacticiel variable R&R (/outils/rr-msa) aide à saisir la complémentarité.

Aucun prérequis informatique (le didacticiel tourne dans le navigateur).

3. Plan de séance — 2 heures

TempsPhaseContenu
0 – 15 minPhase 1 — IntroPourquoi Attribute MSA ? Exemples réels : contrôle peinture, soudure, tri cosmétique. Distinction variable vs attributif. Pourquoi le R&R ANOVA ne marche pas ici.
15 – 40 minPhase 2 — Cohen’s κ (2 évaluateurs)Formule Po, Pe, κ. Construction d’une matrice 2×2 sur tableau. Calcul manuel avec un cas à 20 pièces 2 opérateurs. Pourquoi %agreement ment — démo sur cas simple.
40 – 60 minPhase 3 — Fleiss’ κ (3+ évaluateurs)Généralisation. Notion de paires d’évaluateurs en accord. Lecture matrice pairwise pour identifier l’opérateur divergent.
60 – 70 minPause—
70 – 90 minPhase 4 — Application sur le didacticielChaque participant charge EX1, EX2, EX3 dans le didacticiel. Lecture heatmap, table agreement, verdict. Discussion plénière des interprétations.
90 – 110 minPhase 5 — Effectiveness vs référenceConcept d’étalon. Miss rate vs false alarm rate. Pourquoi le miss rate est plus grave. Application EX7 (caméra vs humain) et EX8 (claviers avec référence).
110 – 120 minPhase 6 — QCM & synthèseQCM 10 questions sur imprimé. Correction plénière. 6 pièges classiques.

4. Comment lire la heatmap pairwise (Phase 3 — clé)

La heatmap de Cohen’s κ pairwise est un outil diagnostic puissant pour identifier l’opérateur responsable d’un κ global faible. Exemple à 3 opérateurs :

         Op1     Op2     Op3
Op1    1.00    0.85    0.35
Op2    0.85    1.00    0.40
Op3    0.35    0.40    1.00

Lecture : Op1 et Op2 sont très alignés (κ = 0.85). Op3 diverge de tout le monde (κ ~ 0.35-0.40). Diagnostic : Op3 est l’opérateur à former, pas la méthode globale.

Contre-exemple :

         Op1     Op2     Op3
Op1    1.00    0.35    0.40
Op2    0.35    1.00    0.38
Op3    0.40    0.38    1.00

Ici, tous les κ sont faibles. Diagnostic : ce n’est pas un opérateur spécifique, c’est le critère lui-même qui est flou. Action : refondre la méthode avant de former.

5. FAQ élèves (10 questions fréquentes)

Q1. Qu’est-ce qu’Attribute MSA, concrètement ? C’est l’équivalent du Gauge R&R mais pour des contrôles où la réponse n’est pas un nombre. OK / NOK, bon / rebut, conforme / non-conforme. On mesure l’accord entre juges plutôt que la variance.

Q2. Pourquoi ne pas simplement utiliser le %agreement ? Parce qu’il ignore l’effet du hasard. Avec 2 catégories équilibrées, 50 % d’accord vient du hasard pur. Un %agreement de 75 % n’est pas si impressionnant. Le κ corrige ça : κ = 0 signifie « pas mieux que le hasard ».

Q3. Quelle est la différence entre Cohen et Fleiss ? Cohen : 2 évaluateurs. Fleiss : 3 ou plus. On utilise Fleiss pour le κ global et Cohen pairwise en complément pour identifier l’opérateur divergent. Les deux donnent des valeurs cohérentes dans la plupart des cas.

Q4. Pourquoi 20 pièces minimum ? En dessous de 20, les intervalles de confiance de κ sont trop larges (κ = 0.5 ± 0.3 par exemple). On ne distingue plus « marginal » de « rejeté ». 30 pièces est encore mieux pour une étude critique.

Q5. Comment choisir les pièces pour l’étude ? Règle 30/40/30 : 30 % clairement OK, 30 % clairement NOK, 40 % borderline. Des pièces toutes évidentes donnent un κ artificiellement élevé qui ne prouve rien sur la vraie capacité du système.

Q6. Faut-il toujours avoir une référence ? Non, mais c’est fortement recommandé dès qu’elle est disponible (expert de ligne, gabarit, labo). Sans référence, on peut mesurer la cohérence des opérateurs (κ) mais pas s’ils retrouvent la vérité (effectiveness). Trois opérateurs peuvent être unanimes et collectivement faux.

Q7. Mon κ est à 0.6, est-ce utilisable ? Zone marginale (Landis-Koch : « moderate »). Sur une caractéristique non critique, on peut piloter avec surveillance. Sur une caractéristique sécurité / client direct, non — corriger avant de continuer. Identifier d’abord la cause (opérateur, critère, ambiguïté).

Q8. Miss rate à 3 %, c’est acceptable ? Cela dépend du contexte. Pour du défaut cosmétique mineur, oui. Pour un défaut sécurité (fissure soudure chaudière, défaut assemblage frein), c’est beaucoup trop. Sur le critique, miss rate doit être proche de 0.

Q9. Mon opérateur le plus jeune a un κ faible avec les autres. Dois-je le retirer ? Non. La première action est toujours la formation / accompagnement. On ne retire un opérateur d’un poste qu’après échec de formation et étude complémentaire. Le κ faible peut aussi révéler que le novice a raison et que les « anciens » ont dérivé (cela arrive).

Q10. Peut-on faire Attribute MSA avec plus de 2 catégories (ex : A/B/C/D) ? Oui, Fleiss le fait. Cohen peut aussi se généraliser à K catégories. Le didacticiel traite le cas binaire R/V mais la même mécanique s’applique. Plus de catégories = besoin de plus de pièces pour rester fiable.

6. Les 6 pièges classiques à éviter

Piège 1 — Interpréter %agreement sans κ

Symptôme : le chef d’équipe annonce « nos opérateurs sont à 85 % d’accord » et conclut que le contrôle est bon. Parade : toujours sortir κ en parallèle. Avec 2 catégories déséquilibrées (95 % OK, 5 % NOK), 85 % d’agreement est médiocre (κ probablement < 0.30). Le κ est la seule métrique interprétable.

Piège 2 — Oublier l’effet du hasard sur petits échantillons

Symptôme : κ = 0.80 sur 10 pièces, on se félicite. Mais l’IC est ± 0.35. Parade : 20 pièces minimum, 30 recommandé. Rapport d’étude inclut toujours l’IC à 95 %.

Piège 3 — Confondre Cohen et Fleiss

Symptôme : on calcule des Cohen’s κ par paires et on moyenne pour obtenir un « κ global ». La moyenne n’a pas les mêmes propriétés statistiques que Fleiss. Parade : Fleiss pour le κ global (3+ évaluateurs), Cohen pairwise en complément pour le diagnostic.

Piège 4 — Échantillon trop homogène

Symptôme : 20 pièces dont 18 clairement V. κ = 0.95. En production, l’instrument se casse la figure. Parade : règle 30/40/30. Les pièces borderline sont obligatoires — sans elles, l’étude est décorative.

Piège 5 — Ignorer la référence (étalon) quand elle existe

Symptôme : on mesure κ inter-opérateur sans référence. Tous d’accord mais collectivement faux. Parade : si un expert / gabarit / labo peut donner le vrai jugement, l’intégrer systématiquement. Effectiveness est l’indicateur « est-ce qu’on retrouve la vérité ? », κ mesure juste la cohérence.

Piège 6 — Conclure sur l’opérateur sans vérifier la procédure

Symptôme : un opérateur a un κ faible, on le forme. Mais il utilisait une fiche réflexe périmée ou un gabarit étalonné différemment. Parade : avant de former, vérifier : fiche réflexe à jour, étalon physique commun, éclairage identique, position de palpage standardisée. Souvent la « différence opérateur » est un artefact de méthode.

7. QCM d’évaluation (10 questions)

1. Attribute MSA s’applique quand le contrôle est : A) Numérique continu (mm, °C, MPa) B) Binaire ou catégoriel (OK/NOK, classe A/B/C) ✓ C) Toujours instrumental D) Réservé aux contrôles visuels uniquement

2. Le Cohen’s κ corrige : A) La variation entre opérateurs B) L’effet du hasard dans le %agreement ✓ C) La dérive temporelle D) Les biais systématiques

3. La formule κ = (Po − Pe) / (1 − Pe). Que vaut Pe si les deux opérateurs disent V dans 50 % des cas chacun ? A) 0.25 B) 0.50 ✓ (0.5×0.5 + 0.5×0.5 = 0.5) C) 1.00 D) 0.00

4. Fleiss’ κ est utilisé pour : A) 2 évaluateurs strictement B) 3 évaluateurs ou plus ✓ C) Des données continues D) Remplacer le Cohen dans tous les cas

5. Selon Landis-Koch, κ = 0.50 correspond à : A) Excellent B) Acceptable C) Marginal (zone moderate / fair) ✓ D) Rejeté

6. Sur quelle taille d’échantillon AIAG recommande-t-il au minimum une Attribute MSA ? A) 5 pièces B) 10 pièces C) 20 pièces ✓ D) 100 pièces

7. Le miss rate représente : A) Le % de pièces non contrôlées B) Le % de pièces OK jugées NOK par erreur (faux rejet) C) Le % de pièces NOK jugées OK par erreur (défaut qui passe) ✓ D) Le % de pièces jugées différemment entre opérateurs

8. Quelle situation est la plus grave en contrôle sécurité ? A) False alarm rate à 10 % B) Miss rate à 3 % ✓ C) κ = 0.80 D) %agreement à 90 %

9. Si Cohen’s κ pairwise montre (Op1,Op2)=0.90 et (Op1,Op3)=0.40, (Op2,Op3)=0.35, le diagnostic est : A) Le critère est inapplicable pour tous B) Op3 est divergent, cibler sa formation ✓ C) Op1 et Op2 sont trop indulgents D) Rejeter toute l’étude

10. La composition idéale des pièces d’étude est : A) 100 % pièces évidentes (pour avoir un κ élevé) B) 30 % clairement OK, 40 % borderline, 30 % clairement NOK ✓ C) Toutes pièces identiques pour tester la répétabilité D) Exclusivement des pièces bordeline

Barème : 7/10 pour valider la séance. Correction en plénière.

8. Références normatives et bibliographiques

  • AIAG MSA 4ᵉ éd. (2010) — Measurement Systems Analysis Reference Manual. Chapitre « Attribute Measurement Systems Study ». La norme de référence automobile, reprise par IATF 16949.
  • Landis, J. R., & Koch, G. G. (1977). The Measurement of Observer Agreement for Categorical Data. Biometrics, 33(1), 159-174. L’article fondateur des seuils d’interprétation du κ (slight, fair, moderate, substantial, almost perfect).
  • Fleiss, J. L. (1971). Measuring nominal scale agreement among many raters. Psychological Bulletin, 76(5), 378-382. Généralisation à N évaluateurs.
  • Cohen, J. (1960). A coefficient of agreement for nominal scales. Educational and Psychological Measurement, 20, 37-46. L’original.
  • ISO 22514-7:2012 — Statistical methods in process management — Capability and performance — Part 7: Capability of measurement processes. Cadre ISO pour MSA variable et attributif.
  • Minitab — Attribute Agreement Analysis (documentation) — référence logicielle commerciale pour comparaison des sorties.
  • BCUB3 — Blog

9. Checklist formateur — avant la séance

  • Tester le didacticiel sur un navigateur récent (Chrome/Firefox/Edge).
  • Préparer 20 pièces physiques réelles de l’entreprise si possible (mix 30/40/30).
  • Imprimer le QCM (1 par participant) et les matrices de heatmap vierges.
  • Prévoir un tableau blanc pour la construction manuelle de la matrice 2×2 Cohen.
  • Préparer une fiche réflexe « bonne pratique de contrôle » (éclairage, position, gabarits).
  • Vérifier que /outils/rouge-vert-kappa charge Pyodide (< 30 s sur connexion normale).

10. Prolongements possibles (séance 2 — avancée)

  • Multi-catégories : étendre Fleiss à 3+ catégories (classes défaut A/B/C/D).
  • MSA variable : voir didacticiel R&R — la contrepartie quantitative.
  • SPC sur contrôle attributif : cartes p et np pour le suivi long terme après qualification.
  • Capture video / vision industrielle : comment qualifier une caméra ML avec Attribute MSA.
  • Panel sensoriel : spécificités (fatigue, randomisation, rincage palais en agro-alimentaire).
  • Audit IATF 16949 : les attendus précis en rapport MSA attributif pour certification automobile.