건빵의 블로그

데이터에 기반한 modelling을 할 때 자주 나오는 개념인 bias-variance tradeoff. 중요하지만 헷갈릴 수 있는 개념인데 쉽게 정리된 글을 Quora에서 발견하여 번역하여 공유한다. 원문: How would you explain the bias-variance tradeoff to a five year old? 이 그림 하나면 Bias-Variance tradeoff를 설명하기에 충분할 것이다. 모델링, 통계학, 머신러닝 등에 대해서 알고 있다면 위의 의미를 더 깊게 이해해 보자. 데이터가 가지고 있는 불확실성이나 noise 뿐만 아니라 모든 학습 알고리즘은 두 가지 종류의 에러를 가진다. 1. Bias2. Variance Error(X) = noise(X) + bias(X) + va..

해당 포스트는 Standford Online Course의 Statistical Learning 강좌를 정리하고 공유하기 위한 포스트로, 대부분의 자료는 강의자료에서 참조하였으나 본인의 의견도 들어가 있을수 있습니다.선형 회귀 분석 (Linear Regression)은 회귀 분석에 사용되는 가장 간단한 모델로 간단하지만 매우 유용하다. 선형 회귀 분석을 통해 independent variable과 dependent variable간에 어떤 관계가 있는지, 그 관계는 얼마나 strong 한 지, 해당 모델을 이용할 경우 값을 얼마나 정확히 예측 가능한 지 등을 알 수 있다. 1. 단순 선형 회귀 분석(Simple Linear Regression) single predictor X 를 가지는 simple l..

해당 포스트는 Standford Online Course의 Statistical Learning 강좌를 정리하고 공유하기 위한 포스트로, 대부분의 자료는 강의자료에서 참조하였으나 본인의 의견도 들어가 있을수 있습니다. Supervised Learning은 크게 두 가지 문제로 나눌 수 있다.첫째는 Regression(회귀) 이고, 다른 하나는 Classification (분류) 이다. 모델을 통해서 예측하려는 Y의 값이 linear 하면 회귀 문제, categorical 하면 분류 문제가 된다. 즉 어떤 모델을 이용해서 주가 변동을 예측한다고 해보자. 실제 '주가 지수'를 예측한다면 회귀 문제가 되고, 주가가 오르는지/내리는지 예측하는 것이라면 분류 문제가 된다. 1. 모델의 성능을 측정하기 회귀와 분류..

Introduction to Statistical Learning 이라고, 머신 러닝에서의 기본적인 개념들에 대해 이야기하는 입문서와 같은 책이 있다. 하드카피는 돈 받고 팔지만, 책은 online에서 pdf로 오픈이다! (물론 엄밀히 말하면 Statistical Learning의 입문이다. Machine Learning과의 자세한 차이는 이후 포스트에 나올 것이다)다운 받으러 가기 얼마전에 책을 한 번 보고 너무 많이 배워서, 또 정리할 겸 봐야겠다고 생각하고 있었는데 마침 Stanford 에서 제공하는 온라인 강좌에 해당 교재를 가지고 진행하는 강좌가 떠서, 듣게 되었다. 앞으로 강좌를 들으며 챕터별로 간단히 정리해서 포스트 할 예정인데 혹시 포스트가 중간에 끊어질 경우 이어서 올려달라고 압박을 넣어..