머신러닝을 위한 확률 기초 - TIL230719

📚 KDT WEEK 16 DAY 3 TIL

• 확률 기초

---

 

머신러닝 모델학습의 목표 > 손실함수(예측값과 라벨사이 거리)의 최소화

 

손실 함수

 

해당 식은 확률에 대한 지식을 기반으로 만들어진 식이다.

따라서 머신러닝에 대해 깊게 이해하려면 확률에 대한 기초지식이 필요하다.

 

---

🟥 확률

실험의 결과(ex. 동전던지기)로 발생하는 모든 결과의 집합(표본집합)을 S라고 할 때,

집합 S의 부분집합(event)을 실수값에 대응시키는 함수!

 

동전을 한번 던졌을 때 모든 결과의 집합, 즉 표본집합은 앞면(H), 뒷면(T)로 이루어진다.

따라서 S = {H, T}이고, 여기서 앞면이 나올 확률은 P = {H}라고 하며, 1/2가 된다.

 

확률변수

확률변수 X는 표본집합 S의 원소 e를 실수값 X(e) = x에 대응시키는 함수이다.

다음 그림의 확률변수 X는 H의 개수에 따른 함수가 된다.

 

S는 동전을 두번 던졌을 때의 표본집합이다.

 

누적분포함수(cumulative distribution function, CDF)

x 이하의 모든 값의 확률이다.

CDF

 

연속확률변수 (Continuous Random Variable) & 확률밀도함수 (probability density function, PDF)

확률변수가 갖는 값들이 실수의 구간으로 표현될 때 연속확률변수라고 한다.

 

연속확률변수와 확률밀도함수

따라서 어떤 값 a와 b 사이의 확률을 구하는 것은 확률밀도함수 그래프의 넓이를 구하는 것과 같다.

f(x) 대신 p(x)라고 표기하기도 하고, 확률의 합은 항상 1이어야 하므로 다음의 조건을 항상 만족한다.

 

 

기댓값(Expectations)

확률분포 p(x)하에서 함수 f(x)의 평균값

 

기댓값을 통한 이산확률분포와 연속확률분포

 

분산(variance)과 공분산(covariance)

f(x)의 값들이 기댓값으로부터 흩어져 있는 정도

 

 

확률을 해석하는 두 가지 다른 관점

• 빈도주의 : 반복가능한 사건(ex. 동전던지기)들의 빈도수에 기반
• 베이지안 : 불확실성을 정량적으로 표현 > 반복가능하지않은 사건(ex. 북극얼음이 이번 세기말에 녹을 확률)

빈도주의에서는 반복가능하지않은 사건 계산이 어려우므로 일반적으로 베이지안이 강력하다고 본다.

 

베이지안 관점의 장정은 사전확률을 모델에 포함시킬 수 있다는 점이다.

 

정규분포

연속확률변수의 대표적인 분포로, 실제 문제에서 측정치가 근사적으로 정규분포를 따르게 된다.

 

• 평균을 중심으로 대칭인 종모양(bell-shaped)인 확률밀도함수의 그래프이다.
• 정규분포의 모양과 위치는 평균과 표준편차에 의해 결정된다
• 정규곡선과 X축 사이의 면적은 1이다.
• 정규곡선은 X축 사이에 닿지 않으므로, X축 값의 범위는 -∞ < X < ∞ 이다.

정규분포의 식과 그 그래프

 

정규분포에서 평균이 0이고, 표준편차가 1인 분포를 표준정규분포라고 부른다.

 

 

곡선근사(Curve Fitting)