KI-Konzepte von Grund auf

1 Neuronale Netze 4 Lektionen

1. Lektion 3 Challenges Neuronen und Aktivierungsfunktionen in Python Baue ein künstliches Neuron in reinem Python: eine gewichtete Summe der Eingaben plus Bias, die durch Sigmoid oder ReLU läuft.
2. Lektion 3 Challenges Vorwärtsdurchlauf und Verlustfunktionen in Python Schicke Eingaben Schicht für Schicht durch ein kleines neuronales Netz und miss den Fehler mit quadratischem Fehler und Kreuzentropie.
3. Lektion 5 Challenges Gradientenabstieg und Backpropagation in Python Trainiere ein Neuron mit Gradientenabstieg: Finde mit der Kettenregel heraus, wie jedes Gewicht den Verlust beeinflusst, und gehe bergab.
4. Lektion 4 Challenges Optimierer für neuronale Netze: SGD, Momentum und Adam in Python Vergleiche einfachen Gradientenabstieg, Momentum und Adam, indem alle drei Schritt für Schritt dieselbe Funktion minimieren.

2 Maschinelles Lernen 4 Lektionen

5. Lektion 3 Challenges Datenvorbereitung für maschinelles Lernen in Python Skaliere Merkmale mit Min-Max-Normalisierung und Z-Score-Standardisierung und multipliziere Matrizen von Hand.
6. Lektion 4 Challenges Lineare und logistische Regression in Python Passe mit der Methode der kleinsten Quadrate eine Gerade an und verwandle dann mit logistischer Regression einen Score in eine Wahrscheinlichkeit.
7. Lektion 6 Challenges Grundlagen der Klassifikation: Softmax und k-nächste Nachbarn in Python Verwandle Scores mit Softmax in Klassenwahrscheinlichkeiten, bewerte sie mit Kreuzentropie und klassifiziere Punkte mit k-nächsten Nachbarn.
8. Lektion 2 Challenges Kosinus-Ähnlichkeit und k-Means-Clustering in Python Miss mit der Kosinus-Ähnlichkeit, wie ähnlich zwei Vektoren sind, und gruppiere unbeschriftete Daten mit k-Means.

3 Transformer und LLMs 3 Lektionen

9. Lektion 3 Challenges Tokenisierung: Vokabular, One-Hot und Byte Pair Encoding in Python Verwandle Text in Zahlen wie Sprachmodelle: Baue ein Vokabular, kodiere Wörter als One-Hot und lerne Teilwort-Tokens mit BPE.
10. Lektion 4 Challenges Attention und Self-Attention in Python Berechne Scaled Dot-Product Attention von Hand mit Queries, Keys und Values und füge dann eine kausale Maske wie bei GPT hinzu.
11. Lektion 2 Challenges Wie Sprachmodelle Text erzeugen: Temperature und Top-k in Python Sieh dir an, wie ein Sprachmodell das nächste Token wählt: Layer Normalization, Temperature und Top-k-Sampling in reinem Python.

4 Klassische KI und bestärkendes Lernen 3 Lektionen

12. Lektion 4 Challenges Suche und Spiele-KI: A* und Minimax in Python Finde mit der A*-Suche den kürzesten Weg auf einem Gitter und wähle mit Minimax den besten Zug in einem Spiel.
13. Lektion 2 Challenges Markow-Ketten und der Kompromiss zwischen Erkunden und Ausnutzen in Python Sage künftige Zustände mit einer Markow-Kette voraus und balanciere Erkunden und Ausnutzen mit einem Epsilon-Greedy-Banditen.
14. Lektion 2 Challenges Bestärkendes Lernen: Value Iteration und Q-Learning in Python Bring einem Agenten bei, ein Ziel zu erreichen: Berechne Zustandswerte mit Value Iteration und lerne sie dann durch Versuch und Irrtum mit Q-Learning.