처음부터 배우는 AI 개념
뉴런, 학습, 회귀, 분류, 어텐션, 텍스트 생성, 탐색, 강화 학습. 아이디어마다 짧은 레슨이 하나씩 있고, 그 뒤에 챌린지가 이어집니다.
경로 시작하기 →1 신경망 레슨 4개
- 레슨 챌린지 3개 Python으로 배우는 뉴런과 활성화 함수 순수 Python으로 인공 뉴런을 만듭니다. 입력의 가중합에 바이어스를 더하고 sigmoid나 ReLU에 통과시킵니다.
- 레슨 챌린지 3개 Python으로 배우는 순전파와 손실 함수 작은 신경망에 입력을 층별로 통과시킨 뒤 제곱 오차와 교차 엔트로피로 오차를 측정합니다.
- 레슨 챌린지 5개 Python으로 배우는 경사 하강법과 역전파 경사 하강법으로 뉴런을 학습시킵니다. 연쇄 법칙으로 각 가중치가 손실에 주는 영향을 구한 뒤 내리막으로 한 걸음 나아갑니다.
- 레슨 챌린지 4개 Python으로 배우는 신경망 옵티마이저: SGD, Momentum, Adam 같은 함수를 단계별로 최소화하며 기본 경사 하강법, Momentum, Adam을 비교합니다.
2 머신러닝 레슨 4개
- 레슨 챌린지 3개 Python으로 배우는 머신러닝 데이터 준비 Min-max 정규화와 z-점수 표준화로 특성의 스케일을 맞추고, 행렬 곱셈을 직접 계산합니다.
- 레슨 챌린지 4개 Python으로 배우는 선형 회귀와 로지스틱 회귀 최소제곱법으로 직선을 맞추고, 로지스틱 회귀로 점수를 확률로 바꿉니다.
- 레슨 챌린지 6개 Python으로 배우는 분류 기초: Softmax와 k-최근접 이웃 Softmax로 점수를 클래스 확률로 바꾸고, 교차 엔트로피로 평가하며, k-최근접 이웃으로 점을 분류합니다.
- 레슨 챌린지 2개 Python으로 배우는 코사인 유사도와 k-평균 군집화 코사인 유사도로 두 벡터가 얼마나 비슷한지 측정하고, 레이블 없는 데이터를 k-평균으로 묶습니다.
3 Transformer와 LLM 레슨 3개
- 레슨 챌린지 3개 Python으로 배우는 토큰화: 어휘, 원-핫, 바이트 페어 인코딩 언어 모델처럼 텍스트를 숫자로 바꿉니다. 어휘를 만들고, 단어를 원-핫으로 인코딩하고, BPE로 서브워드 토큰을 학습합니다.
- 레슨 챌린지 4개 Python으로 배우는 어텐션과 셀프 어텐션 쿼리, 키, 밸류로 scaled dot-product attention을 직접 계산하고, GPT처럼 causal mask를 더합니다.
- 레슨 챌린지 2개 Python으로 배우는 언어 모델의 텍스트 생성: Temperature와 Top-k 언어 모델이 다음 토큰을 고르는 방법을 순수 Python으로 확인합니다: layer normalization, temperature, top-k 샘플링.
4 고전 AI와 강화 학습 레슨 3개
- 레슨 챌린지 4개 Python으로 배우는 탐색과 게임 AI: A*와 미니맥스 A* 탐색으로 격자에서 최단 경로를 찾고, 미니맥스로 게임에서 최선의 수를 고릅니다.
- 레슨 챌린지 2개 Python으로 배우는 마르코프 체인과 탐색-활용 트레이드오프 마르코프 체인으로 미래 상태를 예측하고, epsilon-greedy 밴딧으로 탐색과 활용의 균형을 잡습니다.
- 레슨 챌린지 2개 Python으로 배우는 강화 학습: 가치 반복과 Q-러닝 에이전트에게 목표에 도달하는 법을 가르칩니다. 가치 반복으로 상태 가치를 계산한 뒤, Q-러닝으로 시행착오를 통해 학습합니다.