Les concepts de l'IA depuis zéro

1 Réseaux de neurones 4 leçons

1. Leçon 3 défis Neurones et fonctions d'activation en Python Construisez un neurone artificiel en Python pur : une somme pondérée des entrées plus un biais, passée par sigmoid ou ReLU.
2. Leçon 3 défis Propagation avant et fonctions de perte en Python Faites passer des entrées couche par couche dans un petit réseau de neurones, puis mesurez l'erreur avec l'erreur quadratique et l'entropie croisée.
3. Leçon 5 défis Descente de gradient et rétropropagation en Python Entraînez un neurone par descente de gradient : utilisez la règle de dérivation en chaîne pour savoir comment chaque poids influence la perte, puis descendez la pente.
4. Leçon 4 défis Optimiseurs de réseaux de neurones : SGD, Momentum et Adam en Python Comparez la descente de gradient simple, le momentum et Adam en minimisant pas à pas la même fonction.

2 Apprentissage automatique 4 leçons

5. Leçon 3 défis Préparation des données pour l'apprentissage automatique en Python Mettez les variables à l'échelle avec la normalisation min-max et la standardisation par score z, et multipliez des matrices à la main.
6. Leçon 4 défis Régression linéaire et logistique en Python Ajustez une droite par les moindres carrés, puis transformez un score en probabilité avec la régression logistique.
7. Leçon 6 défis Bases de la classification : softmax et k plus proches voisins en Python Transformez des scores en probabilités de classes avec softmax, évaluez-les avec l'entropie croisée et classez des points avec les k plus proches voisins.
8. Leçon 2 défis Similarité cosinus et clustering k-means en Python Mesurez la ressemblance de deux vecteurs avec la similarité cosinus et regroupez des données non étiquetées avec k-means.

3 Transformers et LLM 3 leçons

9. Leçon 3 défis Tokenisation : vocabulaire, one-hot et byte pair encoding en Python Transformez du texte en nombres comme le font les modèles de langage : construisez un vocabulaire, encodez les mots en one-hot et apprenez des sous-mots avec BPE.
10. Leçon 4 défis Attention et self-attention en Python Calculez à la main la scaled dot-product attention avec des requêtes, des clés et des valeurs, puis ajoutez un masque causal comme GPT.
11. Leçon 2 défis Comment les modèles de langage génèrent du texte : température et top-k en Python Voyez comment un modèle de langage choisit le token suivant : layer normalization, température et échantillonnage top-k en Python pur.

4 IA classique et apprentissage par renforcement 3 leçons

12. Leçon 4 défis Recherche et IA de jeu : A* et minimax en Python Trouvez le plus court chemin sur une grille avec la recherche A* et choisissez le meilleur coup d'une partie avec minimax.
13. Leçon 2 défis Chaînes de Markov et compromis exploration-exploitation en Python Prédisez les états futurs avec une chaîne de Markov et équilibrez exploration et exploitation avec un bandit epsilon-greedy.
14. Leçon 2 défis Apprentissage par renforcement : value iteration et Q-learning en Python Apprenez à un agent à atteindre un but : calculez les valeurs des états par value iteration, puis apprenez-les par essais et erreurs avec le Q-learning.