Концепции ИИ с нуля

1 Нейронные сети Уроков: 4

1. Урок Задач: 3 Нейроны и функции активации на Python Соберите искусственный нейрон на чистом Python: взвешенная сумма входов плюс смещение, пропущенная через sigmoid или ReLU.
2. Урок Задач: 3 Прямое распространение и функции потерь на Python Пропустите входные данные слой за слоем через маленькую нейросеть и измерьте ошибку с помощью квадратичной ошибки и кросс-энтропии.
3. Урок Задач: 5 Градиентный спуск и обратное распространение ошибки на Python Обучите нейрон градиентным спуском: с помощью цепного правила найдите, как каждый вес влияет на потерю, и сделайте шаг вниз по склону.
4. Урок Задач: 4 Оптимизаторы нейросетей: SGD, Momentum и Adam на Python Сравните обычный градиентный спуск, momentum и Adam, минимизируя одну и ту же функцию шаг за шагом.

2 Машинное обучение Уроков: 4

5. Урок Задач: 3 Подготовка данных для машинного обучения на Python Масштабируйте признаки нормализацией min-max и стандартизацией z-score и перемножьте матрицы вручную.
6. Урок Задач: 4 Линейная и логистическая регрессия на Python Подберите прямую методом наименьших квадратов, а затем превратите оценку в вероятность с помощью логистической регрессии.
7. Урок Задач: 6 Основы классификации: softmax и k ближайших соседей на Python Превратите оценки в вероятности классов с помощью softmax, оцените их кросс-энтропией и классифицируйте точки методом k ближайших соседей.
8. Урок Задач: 2 Косинусное сходство и кластеризация k-means на Python Измерьте, насколько похожи два вектора, с помощью косинусного сходства и сгруппируйте неразмеченные данные методом k-means.

3 Transformer и LLM Уроков: 3

9. Урок Задач: 3 Токенизация: словарь, one-hot и byte pair encoding на Python Превратите текст в числа, как это делают языковые модели: постройте словарь, закодируйте слова в one-hot и выучите подслова с помощью BPE.
10. Урок Задач: 4 Attention и self-attention на Python Вычислите scaled dot-product attention вручную с запросами, ключами и значениями, а затем добавьте causal mask, как в GPT.
11. Урок Задач: 2 Как языковые модели генерируют текст: temperature и top-k на Python Посмотрите, как языковая модель выбирает следующий токен: layer normalization, temperature и top-k сэмплирование на чистом Python.

4 Классический ИИ и обучение с подкреплением Уроков: 3

12. Урок Задач: 4 Поиск и игровой ИИ: A* и минимакс на Python Найдите кратчайший путь на сетке поиском A* и выберите лучший ход в игре с помощью минимакса.
13. Урок Задач: 2 Цепи Маркова и баланс между исследованием и использованием на Python Предсказывайте будущие состояния с помощью цепи Маркова и балансируйте исследование и использование с epsilon-greedy бандитом.
14. Урок Задач: 2 Обучение с подкреплением: value iteration и Q-learning на Python Научите агента добираться до цели: вычислите ценности состояний методом value iteration, а затем выучите их методом проб и ошибок с Q-learning.