Réseau de neurones interactif

Combien de données ?

Règles pratiques

• Nombre de neurones : commencer entre le nombre d'entrées et le nombre de sorties, puis augmenter si sous-apprentissage.
• Couches : chaque couche supplémentaire capture des interactions plus complexes, mais demande plus de données.
• Activation : ReLU par défaut (rapide, pas de saturation). Sigmoid pour les sorties entre 0 et 1. Tanh pour les données centrées.
• Learning rate : trop haut → le réseau diverge. Trop bas → il n'apprend pas. Commencer à 0.1, ajuster.
• Sur-apprentissage : si la perte descend à ~0 mais que le réseau se trompe sur de nouvelles données, il y a trop de paramètres pour la quantité de données.

Les 4 phases d'un cycle

1. Forward — Les données traversent le réseau couche par couche. Chaque neurone calcule : z = somme(poids × entrées) + biais, puis applique la fonction d'activation.
2. Loss — On mesure l'écart entre la sortie du réseau et la valeur attendue. Plus la perte est basse, mieux le réseau prédit.
3. Backward — On calcule la contribution de chaque poids à l'erreur, en remontant du output vers l'input (rétropropagation).
4. Update — Chaque poids est ajusté dans la direction qui réduit l'erreur, proportionnellement au learning rate.