배움 일지

문제 링크: https://www.acmicpc.net/problem/15903 15903번: 카드 합체 놀이 첫 번째 줄에 카드의 개수를 나타내는 수 n(2 ≤ n ≤ 1,000)과 카드 합체를 몇 번 하는지를 나타내는 수 m(0 ≤ m ≤ 15×n)이 주어진다. 두 번째 줄에 맨 처음 카드의 상태를 나타내는 n개의 자연수 a1, www.acmicpc.net Key point 만들 수 있는 가장 작은 점수를 출력하는 것이므로, 카드 번호가 담긴 리스트를 오름차순 정렬하여 첫 번째, 두 번째로 작은 두 원소들을 더하고 덮어 씌우고, 정렬하고~ 를 반복하면 된다. import sys input = sys.stdin.readline n, m = map(int, input().split()) card = li..

1. Softmax Regression : softmax regression은 logistic regression의 일반화된 버전이다. 만약 Class의 개수 $C$가 2이면 logistic regression이 되는 것이다. Softmax activation function은 vector를 입력으로 받아 vector를 출력한다. (이전의 sigmoid나 ReLU는 real number input, output을 가졌다.) $\hat{y}$ 벡터의 각 원소들은 x가 주어졌을 때, c일 확률: $P(c|x)$로 표현할 수 있다. 확률이므로 원소들의 합은 1이 된다. 2. Loss function Multi-class classification task에서의 loss function은 아래와 같다. cros..

이전 강의에서 input을 normalizing 해줌으로써 feature들의 range를 유사하게 만들어 최적화를 좀 더 쉽게 도와주어 학습을 좀 더 빠른 속도로 할 수 있음을 배웠다. 이와 비슷하게 Batch Normalization을 통해서 parameter 학습을 더 efficient하게 만들 수 있다. 1. Implement Batch Norm : hidden unit value $z^{[l](i)}$ 의 평균 ($\mu$) 과 표준 편차 ($\sigma$)를 구해서 normalized $z^{(i)}_{norm}$를 얻는다. 그 다음 learnable parameter $\gamma$와 $\beta$를 통해 hidden unit values가 서로 다른 mean과 variance를 갖도록 할 수..