건빵의 블로그

데이터에 기반한 modelling을 할 때 자주 나오는 개념인 bias-variance tradeoff. 중요하지만 헷갈릴 수 있는 개념인데 쉽게 정리된 글을 Quora에서 발견하여 번역하여 공유한다. 원문: How would you explain the bias-variance tradeoff to a five year old? 이 그림 하나면 Bias-Variance tradeoff를 설명하기에 충분할 것이다. 모델링, 통계학, 머신러닝 등에 대해서 알고 있다면 위의 의미를 더 깊게 이해해 보자. 데이터가 가지고 있는 불확실성이나 noise 뿐만 아니라 모든 학습 알고리즘은 두 가지 종류의 에러를 가진다. 1. Bias2. Variance Error(X) = noise(X) + bias(X) + va..

2015년 7-8월, 넷마블게임즈 데이터분석 직군으로 인턴십을 다녀왔다.학교에만 있어서 굳었던 머리를 말랑말랑하게 만들수 있었던 좋은 시간이고 같은 분야에 있는 좋은 사람들을 만날수 있어서 더더욱 즐거운 시간들이었던 것 같다. 인턴십 그리고 넷마블 게임즈 데이터분석에 관심있을 누군가를 위해 후기를 정리하여 공유한다. 1. 면접 회사 면접을 본 경험이 없어서 당신의 장점과 단점은 무엇입니까? 가장 즐거웠던 순간과 슬펐던 순간.. 등의 인사 질문만 생각하고 갔었는데.. 면접은 굉장히 기술면접 위주로 진행된다. 나의 경우는 내가 석사과정 시 진행한 연구에 사용한 방법론에 대한 질문을 가장 많이 받았고, 통계와 데이터 방법론에 관련된 질문들도 많이 받았다. 하지만 인턴 과정 중 동기들과 면접 후기를 공유해보니 ..

해당 포스트는 Standford Online Course의 Statistical Learning 강좌를 정리하고 공유하기 위한 포스트로, 대부분의 자료는 강의자료에서 참조하였으나 본인의 의견도 들어가 있을수 있습니다. Supervised Learning은 크게 두 가지 문제로 나눌 수 있다.첫째는 Regression(회귀) 이고, 다른 하나는 Classification (분류) 이다. 모델을 통해서 예측하려는 Y의 값이 linear 하면 회귀 문제, categorical 하면 분류 문제가 된다. 즉 어떤 모델을 이용해서 주가 변동을 예측한다고 해보자. 실제 '주가 지수'를 예측한다면 회귀 문제가 되고, 주가가 오르는지/내리는지 예측하는 것이라면 분류 문제가 된다. 1. 모델의 성능을 측정하기 회귀와 분류..

Statistical Learning은 통계적인 모델을 이용하여 데이터를 학습시키고,, 어떠한 결과를 얻어내는 방법을 말한다. 이 책을 통해 알아야 할 것은 1) 언제, 왜 각각의 모델을 사용해야 하는가 2) 어떻게 각 모델-알고리즘이 동작하는가? 3) 어떻게 성능을 평가하는가. 크게 이 세 가지로 나눌 수 있다. 이 세상에 수많은 학습 모델들이 있지만 우리가 데이터 분석 시 실제로 그것들을 구현하지는 않는다. 이미 똑똑하신 많은 연구자들이 언어별로 알고리즘을 구현해 두었고 우리는 사용하기만 하면 된다. 하지만 각각의 모델을 언제 사용하고, 결과를 어떻게 해석해야 하는지는 알아야 적절히 사용할 수 있을 것이다. 데이터를 통해 학습시키는 변수는 X라 표시하고 predictor, 또는 regressors, ..

Introduction to Statistical Learning 이라고, 머신 러닝에서의 기본적인 개념들에 대해 이야기하는 입문서와 같은 책이 있다. 하드카피는 돈 받고 팔지만, 책은 online에서 pdf로 오픈이다! (물론 엄밀히 말하면 Statistical Learning의 입문이다. Machine Learning과의 자세한 차이는 이후 포스트에 나올 것이다)다운 받으러 가기 얼마전에 책을 한 번 보고 너무 많이 배워서, 또 정리할 겸 봐야겠다고 생각하고 있었는데 마침 Stanford 에서 제공하는 온라인 강좌에 해당 교재를 가지고 진행하는 강좌가 떠서, 듣게 되었다. 앞으로 강좌를 들으며 챕터별로 간단히 정리해서 포스트 할 예정인데 혹시 포스트가 중간에 끊어질 경우 이어서 올려달라고 압박을 넣어..