ML - Linear Regression / Optimization / Loss function / Hyperparametes / model parameter / weight / bias

 

 

---

Model Parameters VS Hyperparameters

 

 

 

 

 

Model parameters VS Hyperparameters

 

 

(Learnable) Model parameters	컴퓨터 내부에서 모델이 스스로 학습하며 바꿔가는 key 숫자 ex) 가중치(weight)와 편향(bias)
(User-defined) Hyperparameters	사람이 정해줘야 하는 parameter ex) 학습률(learning rate), 에포크(epoch) 수, 배치 크기(batch size)

 

model parameters가 되는 weight는 학습하면서 update가 될 수 있기 때문에 learnable하다고 볼 수 있다.

 

 

 

Linear Regression

 

: Supervised learning은 regression과 classification이 있다. classifiation의 목적이 단순히 어떤 class인지 맞추는 것이었다면, regression이라는 task는 특정한 값을 예측하는 것이라 볼 수 있다.

 

Find a linear model that explains a target  y  give inputx x

 

 

 

 

 1부터 n개까지의 x ( inputs) 그리고  x와 대응되는 y ( labels )가 Learner의 입력으로 들어오면 이를 학습시키며 가중치인 세타를 만든다. 

이후, 세타와 이전에 없었던 새로운 입력값에 대해 정답을 예측하는 것이 목표이다.
y hat이 의미하는 것은 label에 대한 추정치이다. 

 

 

 

Linear Prediction

 

j는 고려해야하는  요소가 몇가지인가를 의미하며, 세타는 weights를 의미한다.
데이터에 대하여 원점을 통과하지 않도록 bias라는 개념을 추가적으로 넣는다.
위 식에서도 알 수 있듯이 bias라는 x와 곱해지지 않기 때문에 x와 아무런 관계가 없다. 

 

 

 

 

Optimization 

 

model parameter인 weight와 bias를 통해 y^을 구한다. 처음에는 model parameter가 임의의 수로 정해지기 때문에 y^이 엉뚱한 값이 나올 가능성이 높다. 

 

따라서 정답지와 측정치의 불일치 구하는 loss function을 구해 이것을 줄여나가며 model parameters를 update해나가는 과정을 optimization (최적화)라고 한다.

 

 

 

 

Loss Function