지금까지 저희는 가능한 행동 집합 $\mathcal{A}$와 자연 상태 $\mathcal{H}$가 유한한 경우를 다루었습니다. 즉, 분류 문제였죠. 그렇다면 행동과 상태가 모두 연속이면 무한한 경우인 $\mathcal{A} = \mathcal{H} = \mathbb{R}$인 경우를 다루어보도록 하겠습니다. 일반적으로 이를 회귀(regression)이라고 합니다. 오늘은 특히, 이 상황에서 흔히 쓰이는 여러가지 손실 함수들에 대해서 다루어볼 예정입니다. 이렇게 정의된 손실함수를 기반으로한 의사 결정 규칙은 추정모델이 최적 매개변수를 구하거나 로봇이 취할 최적의 행동을 결정하는 데 활용될 수 있습니다.
각 손실함수에 대한 그림은 위 그림 5.3 을 참고해주세요.
1. L2 손실(L2 Loss)
연속적인 상태와 행동에서 가장 흔히 사용되는 손실함수가 바로 L2 손실입니다. 이는 제곱오차(Qudratic loss)라고도 불리며 다음과 같이 정의됩니다.
$$l_{2}(h, a) = (h - a)^{2}$$
이 경우 위험도는 다음과 같이 구할 수 있습니다.
$$\begin{align} \rho(a \mid x) &= \mathbb{E}[(h - a)^{2} \mid x] \\ &= \mathbb{E} [h^{2} \mid x] - 2a\mathbb{E}[h \mid x] + a^{2} \end{align}$$
최적 행동은 해당 지점에서 위험의 도함수가 0이 되는 조건을 만족해야 합니다. 따라서 최적 행동은 사후평균을 택하는 것입니다:
$$\begin{align} \frac{\partial}{\partial a} \rho(a \mid x) &= -2\mathbb{E}[h \mid x] + 2a = 0 \\ \Rightarrow& \pi(x) = \mathbb{E}[h \mid x] = \int h p(h \mid x) \; dh \end{align}$$
이는 흔히 최소제곱평균오차(Minimum Mean Square Error; MMSE) 추정이라고 불립니다.
2. L1 손실(L1 Loss)
L2 손실은 참값과 예측값의 차이를 제곱으로 벌점을 부여하기 때문에 이상치에 대해 민감합니다. 따라서, 이에 비해 더 강건한 손실함수인 L1 손실을 사용할 수 있으며 다음과 같이 정의됩니다.
$$l_{1}(h, a) = |h - a|$$
3. 후버 손실(Huber Loss)
또 다른 강건한 손실함수로 사용되는 함수가 바로 후버 손실이며 정의는 다음과 같습니다.
$$l_{\delta} (h, a) = \begin{cases} \frac{r^{2}}{2} &\text{ if } |r| \le \delta \\ \delta |r| - \frac{\delta^{2}}{2} \text{ if } |r| \ge \delta \end{cases}$$
여기서 $r = h - a$입니다. 후버 손실은 $|r| \le \delta$에서는 L2 손실과 동일하고 $|r| \ge \delta$에서는 L1 손실과 동일해집니다.
