건빵의 블로그

데이터에 기반한 modelling을 할 때 자주 나오는 개념인 bias-variance tradeoff. 중요하지만 헷갈릴 수 있는 개념인데 쉽게 정리된 글을 Quora에서 발견하여 번역하여 공유한다. 원문: How would you explain the bias-variance tradeoff to a five year old? 이 그림 하나면 Bias-Variance tradeoff를 설명하기에 충분할 것이다. 모델링, 통계학, 머신러닝 등에 대해서 알고 있다면 위의 의미를 더 깊게 이해해 보자. 데이터가 가지고 있는 불확실성이나 noise 뿐만 아니라 모든 학습 알고리즘은 두 가지 종류의 에러를 가진다. 1. Bias2. Variance Error(X) = noise(X) + bias(X) + va..

해당 포스트는 Standford Online Course의 Statistical Learning 강좌를 정리하고 공유하기 위한 포스트로, 대부분의 자료는 강의자료에서 참조하였으나 본인의 의견도 들어가 있을수 있습니다.선형 회귀 분석 (Linear Regression)은 회귀 분석에 사용되는 가장 간단한 모델로 간단하지만 매우 유용하다. 선형 회귀 분석을 통해 independent variable과 dependent variable간에 어떤 관계가 있는지, 그 관계는 얼마나 strong 한 지, 해당 모델을 이용할 경우 값을 얼마나 정확히 예측 가능한 지 등을 알 수 있다. 1. 단순 선형 회귀 분석(Simple Linear Regression) single predictor X 를 가지는 simple l..

Statistical Learning은 통계적인 모델을 이용하여 데이터를 학습시키고,, 어떠한 결과를 얻어내는 방법을 말한다. 이 책을 통해 알아야 할 것은 1) 언제, 왜 각각의 모델을 사용해야 하는가 2) 어떻게 각 모델-알고리즘이 동작하는가? 3) 어떻게 성능을 평가하는가. 크게 이 세 가지로 나눌 수 있다. 이 세상에 수많은 학습 모델들이 있지만 우리가 데이터 분석 시 실제로 그것들을 구현하지는 않는다. 이미 똑똑하신 많은 연구자들이 언어별로 알고리즘을 구현해 두었고 우리는 사용하기만 하면 된다. 하지만 각각의 모델을 언제 사용하고, 결과를 어떻게 해석해야 하는지는 알아야 적절히 사용할 수 있을 것이다. 데이터를 통해 학습시키는 변수는 X라 표시하고 predictor, 또는 regressors, ..