[Coursera] DLS_C2W3: Multi-class Classification

1. Softmax Regression

: softmax regression은 logistic regression의 일반화된 버전이다.

만약 Class의 개수 $C$가 2이면 logistic regression이 되는 것이다. 

 

Softmax activation function은 vector를 입력으로 받아 vector를 출력한다. (이전의 sigmoid나 ReLU는 real number input, output을 가졌다.)

$\hat{y}$ 벡터의 각 원소들은 x가 주어졌을 때, c일 확률: $P(c|x)$로 표현할 수 있다. 확률이므로 원소들의 합은 1이 된다. 

 

2. Loss function

Multi-class classification task에서의 loss function은 아래와 같다. 

cross-entropy loss로 불린다.

*참고: logistic regression의 loss function을 binary cross entropy loss라고 부르기도 한다!