오우 데이터 사이언티스트로 활동하시는 분께 편하게 질문할 수 있는 기회가 흔치 않을텐데... 아는 게 없어서 어떤 질문을 해야할지 모르겠습니다! 배경지식은 전혀 아는 게 없지만, 왠지 궁금한 것을 여쭤봐도 될까요?

사이즈는 큰데 그 중 의미는 참 적게 발견되는 대표적인 데이터셋은 어떤 종류가 있나요? 더해서 이제까지 만져보신 데이터셋 중 가장 사이즈가 컸던 것은 어떤 것이었나요?
모든 조건이 깔끔하면 좋겠지만 그렇지 못할 때, 정기적인 데이터가 있는 것과 정확히 측정된 데이터만 있는 것 중 할당 받는 쪽을 고를 수 있다면?
데이터 배열을 2차원 행/열 단위로 인식하시는지 3차원이나 그 이상 고차원으로 인식하시는지... 어떠한 기술적인 부분이 아니라 데이터를 보았을 때 머릿속으로 들어오는 느낌? 방식? 이 궁금합니다.

1. 필수입니다. 표준적인 수리통계학 교과서를 펼쳐봤을때, 지나치게 수학 이론적인 부분을 제외하면 거의 모든 실용적인 부분에서 교과서의 내용을 읽고 이해하는데 문제가 없고 남들에게 대략적으로 설명해줄 수 있을 정도여야 합니다.

2. 회사에서 일하는 사람이야 비즈니스 통찰이 중요합니다. 그래야 회사 내에서 인정받으니까요. 그런데 데이터 사이언스 타이틀 달고 통계학은 모르는데 비즈니스 통찰은 강하다. 그런 사람이 있긴 한가요? 비즈니스 통찰이란게 소파에 누워서 생각하는게 아니라 데이터를 수시로 다루고 감을 이해하지 않으면 안나옵니다. 어짜피 그 비즈니스 통찰을 데이터로 보여줘야 하는게 직업입니다. 비즈니스를 강조하는게 절대로 틀린말은 아닌데 썰 푸는 수준 이상의 제대로된 뭔가를 보여주려면 기술적 역량이 없으면 아무것도 못합니다. 제 기준으로는 기술적 역량과 같이 가거나 아니면 최소한 기술적 역량이 엘리트 학부생급 이상은 완성되어야 할만한 이야기라고 봅니다.

1. 제일 필요한 적성이랄게 딱히 있을까요? 어느 학문분야와 마찬가지로 분석적인 사고력과 호기심이 제일 중요하다고 봅니다. 큰 문제를 쪼개고 집요하게 오래 붙어서 문제제기하고 솔루션을 꾸준히 업그레이드해내는 능력. 그게 제일 중요하죠.

2. 제 연봉이 2억 5천이 넘는데 한국에서 진짜로 맞춰줄 수 있을까요? 정말로 맞춰준다면 갈 의향이 있습니다. 그런데 장담컨데 못 맞춰줍니다. 맞춰줘도 1년이나 2년 간보다 토사구팽할거 같고요. 한국은 못 믿습니다. 그리고 미국도 오래 살다보니 이제 저는 점점 미국화 되어서 한국에 가도 좋을지 잘 모르겠습니다.

3. SF 매매랑 월세는 뭐 쥐꼬리만큼 내려온거 같은데, 여전히 안좋습니다. 뉴욕 맨하탄은 심지어 거기서 더 올랐다는데 거기에 비하면 좀 안오른거니 그게 그나마 다행이라고 해야겠네요.

1. 사이즈는 큰데 그 중 의미는 참 적다라. 마치 학교 숙제 같은 느낌의 질문인데, 이런건 쓸데없이 해상도만 늘려놓은 데이터들이 그렇습니다. 가령 제 오른손에 애플워치 달아놓고 손목의 움직임을 모아놓은 센서 데이터가 있다고 쳐봅시다. 1밀리 세컨드 단위로 초 고주기 데이터에 x,y,z등 시간-공간적 복잡성을 가진 데이터가 모아지긴 하겠죠. 그런데 그걸로 대체 뭘 할거죠? 가장 큰 사이즈라면 7 TB정도요?

2. 정기적인 데이터가 좀 더 낫죠. 뭐 1분기에 한번씩 확률적으로 들어오는 데이터보단 꾸준히 데이터가 정기적인 경로로 쌓이는데 그걸 정제할 여지가 있다. 이게 낫습니다. 데이터 정제하거나 이상탐지하는건 소프트웨어로 어떻게든 비벼볼 여지가 있는데 데이터가 없다 = 답이 없다.

3. 전 데이터를 2차원으로 보통 이해합니다. 3차원은 제 머리로는 아직 무리입니다.

1. 적습니다. 제가 봐도 그리 많지 않습니다. 도대체 누가 실리콘 밸리에 한국인이 많다고 하는건지... 아시안이 다수이지 아시안 안에서 인구상 한국은 다수가 아닙니다.

2. 사우스 베이가 문제지역입니다. 베이를 둘로 나눠서 볼 필요가 있습니다. SF 도심지역을 우리가 보통 샌프란시스코로 많이 떠올리지만, 보통 엔지니어들 많이 취직하는 곳은 산호세나 산마테오 쪽인 사우스 베이 (=SF 다운타운 남부방향 1시간 이상 거리)입니다. 둘은 분위기가 많이 다릅니다. 같은 캘리지역 안에서도 LA만 가도 연애 기회가 훨씬 넓어집니다. SF 도심은 역시나 도시 분위기가 좀 나서 나름 괜찮은 편이고요.

제가 보니 사우스 베이지역은 연애 수요 공급이 미스매치되기 딱 좋습니다. 일단 베이 지역 전체가 나이트 라이프가 없는 편입니다. SF 도심 한복판인데도 밤에 오후 9시만 되어도 카페가 문닫는 곳이 많이 있습니다. 그럼 사우스 베이는? 알만합니다. 게다가 사우스 베이 지역은 대표적인 가족 중심적인 라이프스타일 지역입니다. 학군 좋고 적당히 날씨 좋고 넓은데서 직장 가까이 다니는 정확히 가족 중심적인 지역입니다. 장소 자체가 이미 결혼한 사람이 가서 정착하는 곳인데 젊은 남자가 야심차게 본사 거기있다고 가봤자 일하고 돈버는 것 외엔 할 게 없는거죠. 밤에는 뭐 어디 갈 곳도 없고 어지간하면 차 타고 가야하고, 진짜 재미없어요. 사업하고 돈벌고 공부하기 좋은 곳이에요. 요새 젊은 남자 엔지니어들은 베이 지역보다 뉴욕이나 시애틀, 아니면 베이로 가도 SF 도심 오피스에 있습니다. 미국 경험 부족한 사람들은 SF 다운타운과 전반적인 베이지역을 구분해서 잘 생각을 못하는 것 같아요. 저라면 친구분들에게 오피스를 그냥 옮기라고 권합니다. 미국은 돈이 아니라 해당 지역의 라이프 스타일을 진지하게 고민해야 하는데 그걸 모르고 그냥 본사 있다고 거기로 가니까 그런 참사가 벌어지는 거라 봅니다. 붙어도 지역적인 부분을 적극적으로 네고하고 진지하게 고민해야 하는데 소위 말하는 TC에만 주목하고 미국적 문화를 모르는 대표적인 주니어의 오류가 아닌가 싶습니다.

3. 모릅니다. 진짜 모릅니다. 돈과 시간의 싸움이라고 봅니다.

네, 실제로 많이 가는 추세입니다. 저도 충분히 이해합니다.
생활 만족도는 좋은 편입니다. 한국보다 특히 워라밸, 주말과 저녁이 있는 삶을 만끽하고 있습니다. 제 팀원들도 30대 잘 넘지도 않습니다. 솔직히 매니저가 술 마시러 가자고 하면 전 반갑습니다. 서로 대화가 잘 통하고 재밌게 직장동료들과 일하고 놀 수 있는 환경이란거 자체가 정말 한국에선 상상도 안되는 장점인거 같습니다. 애초에 FANNG 회사가 본격적으로 큰지 20년도 안되지 않았나요? 뭐든지 좋은건 아니지만 회사가 저를 전적으로 서포트해주는걸 제가 피부로 느낄 수 있고, 커리어가 장기적으로 커나갈 여지가 열려있다는 것만으로도 스트레스가 확 줄어드는 것 같습니다.

간단히 말해 제가 일하는게 편하다. 일에서 오는 피로와 스트레스가 적다는 장점이 나머지 모든 단점을 충분히 상쇄시킵니다. 돈과 워라밸이 있는데 나머지가 뭐가 그리 대수이겠습니까. 승진하고 싶으면 당연히 워라밸 희생해야 하고 회사가 불안할 때도 있어도, 당장 제가 피부로 느낄 수 있는 돈과 워라밸이 더 좋습니다. 반대로 생각해보세요, 당장 나는 힘들고 돈도 못버는데 회사는 안정적이고 뭐 나중에 승진하면 워라밸이 나아지는 종류의 직장... 전 그런거 싫습니다.

1. 저도 솔직히 이론을 더 잘알지 실무는 아직도 회사에서 배우는 중이라고 생각합니다. 이건 애초에 회사들이 자체적으로 회사에서 개발한 툴을 써서 분석을 하기 때문입니다. 회사마다 데이터 인프라나 분석 인프라가 너무나도 다르고 그걸 배우는데만 1년은 그냥 지나갑니다. 꼭 구체적으로 실력을 묘사한다면, 기존에 있는 패키지로 응용논문 써서 저널에 낼 정도는 됩니다.

2. 인터뷰 준비는 본인이 스스로 서칭하고 적극적으로 친구들과 준비하는게 유일한 왕도입니다. 따지고 보면 그게 회사에서 요구하는 문제해결력이기도 합니다. 추상적이고 불확실한 문제를 스스로 팀/개인의 역량으로 파악하고 직접 쪼개내는 일이죠. 인터뷰 준비를 할때는 팁이 있다면 "진지하게" 고민하라는 것입니다. 오버 엔지니어링하라는 뜻이 아니라 언제나 제품,서비스,생산,소비의 관점에서 이 프로젝트는 대체 왜 해야하고 이 해결책은 왜 말이 되는가를 스스로 납득하고 설명할 정도는 되어야 합니다. 그 과정에서 아주 사소하지만 중요한 문제들을 깊게 고민해야하고요. 예시를 하나 들어드리자면, 뭐 새로운 앱을 회사가 내려고 합니다. 그러면 그 앱의 가격을 얼마로 해야하고 어느 시장 세그먼트를 공략해야 하죠? 왜 해야 하죠? 앱 시장을 애초에 어떻게 정의해야 하죠? 어떤 데이터를 어디서 얼마나 긁어모으고 명백한 편향이 있는 데이터에서 어떤 가정을 세워서 어떤 종류의 비즈니스 제안을 줘야 하는가. 더 엔지니어링스러운것을 좋아하는 분이라면 현재 작동중인 유튜브 추천엔진이 대체 지금 어떤 문제가 있는지를 뭘로 진단할지 생각해보세요. 모든 추천엔진은 완벽하지 않고, 분명히 놓치는 유저군이 있을텐데 그걸 그러면 추천엔진의 뭘 건드려서 공략할지. 이런게 FANNG수준을 준비하는 좋은 인터뷰 준비라고 봅니다. 인터뷰 질문은 이것보다 쉽겠지만 판에박힌 답들은 무경력에서는 잡 오퍼 따내기가 너무 어렵습니다.

3. 회사 역량에 따라 다른 것 같습니다. 제 느낌으로는 회사가 데이터 사이언스로 돈을 버는걸 할 줄 아는 곳들은 여전히 값을 지불할 수 있습니다. 문제는 대부분의 회사들은 스케일이나 역량이 안됩니다. 당장 저만해도 우리 회사가 데이터 사이언스를 어떤 면에서 잘 못다루는지를 느끼는데 더 열악한 환경은 알만하다고 봅니다. 사람처럼 회사도 역량이란게 있고, 지금은 회사들이 비싼 돈 주고 사람을 사는것만의 한계를 알아차린 상황이라 봅니다. 데이터 사이언스보다 더 분석기술이 안좋았던 매니지먼트 컨설턴트들도 수십년간 거품이니 뭐니해도 연봉 높게 받고 잘만 살아있던게 교훈을 준다고 봅니다. 의외로 회사가 하는 많은 일들이 주먹구구에 허당이라 데이터 사이언티스트들이 할 일이 많습니다ㅜ

왜 국내 대기업으로 오려는지 모르겠습니다. 저라면 극구 말리고 싶습니다. 냉정히 말해서 한국 대기업으로 돌아가는 순간 글로벌 레벨의 커리어는 끝입니다. 꾸준히 논문써서 탑레벨 학회에서 인정받는게 아니라면요. 어느 대학인지 모르겠지만, 어지간한 플래그십 주립대 수준이면 통계학 박사로 직장을 어디가냐의 문제지 잡냐 못잡냐는 크게 걱정할 필요가 없습니다. 관심있는건 저도 그랬으니 이해하는데, "관심만" 있고 실제로는 미국에서 자리잡길 바라겠습니다.

취업비자는 사실 한번 테크 계열로 들어오기만 하면 크게 걱정할 요인은 아닙니다. 박사급이면 논문이 얼마나 있냐가 좀 변수이지만 연구논문이 어느정도 나왔다는 전제하에 O-1, NIW같은 프리미엄 경로가 열려있습니다. 설령 그냥 안전하게 고용주 스폰서로 영주권을 밟아도 2년정도 지나면 나옵니다. h1b야 로또이지만, STEM OPT가 졸업후 3년간 가능하니 크게 문제는 아닙니다. 최악의 경우엔 그냥 빅테크들은 캐나다로 보내줍니다.

경기악화는 꽤나 심각한 문제이지만 영원히 고용을 안할수도 없고 1,2년 안에 해결되는 문제라고 봅니다. 정말 잘 안풀려도 저라면 포닥으로 1-2년 구르면서 간을 볼거 같습니다.

안녕하세요. 저는 국내에서 데싸 쪽에 있습니다. 어쩌다 몇번 이직하다 보니 여러 분야와 도메인에서 일을 해봤고 지금은 금융쪽에 있습니다. 저는 데이터사이언스 분야를 크게 데이터 분석, 데이터 모델링, 데이터 엔지니어링으로 나누는데 쓰니님은 어떤 쪽에 가까울까요?
요즘 여기 저기서 데이터사이언스 분야에 대해서 인터뷰하거나 강의할 일이 생기는데 어떻게 명료하게 정의하고 명확하게 인식되게 할 수 있을까에 대해서 고민이 많습니다. 해당 부분에 대해서 조언을 해주실 수 있을까요?
마지막으로 저는 스스로를 데이터사이언스 분야에서도 데이터 모델러로 인식하고 있습니다. 데이터생성에서 부터 전처리 ML/DL 모델링 개발과 검증 및 분석을 제 중심 역할로 생각하고 일을 하고 있고 이직을 할때도 해당 커리어를 중요하게 생각합니다. 관련해서 쓰니님 업계에서 AI 모델링의 화두는 뭐일지 궁금합니다. 저의 경우 최근에는 구글의 Tabnet 논문을 가장 인상 깊게 봤습니다. 이전 부터 저는 DL은 꼭 필요하지만 유일한 답은 아니다라고 생각했고 여러 알고리즘을 적재적소에 써서 여러 모델이 유기적으로 돌아가는 시스템을 구축하는 것을 지향하고 있습니다. 이런 성향을 젊은 AI개발자들이 보기에는 올드스쿨로 생각하는 경향도 있는 것 같습니다. 가장 메인스트림인 현업에서는 어떤 분위기인지 궁금하기도 합니다~

1. 분석과 모델링에 가까운 것 같습니다. 엔지니어링은 제가 늘 더 배우려고 개인적으로 노력 중입니다.

2. 데이터 사이언스 자체를 명료하게 정의하는 것에 대한 질문인가요? 이 점은 미국에서도 데이터 사이언스란 용어가 남발되다보니 어렵긴 합니다. 저라면 데이터 사이언스는 결국엔 제품이나 알고리즘의 전략을 짜는 것이라고 말하고 싶네요. 특히 중요한 점은 모든 과정을 데이터로 그리고 과학적으로 한다는 점이죠. 데이터로 문제제기하고 데이터로 가설검증해서 데이터로 평가받습니다. 어느 과학이 그렇듯이 가설을 설정하고 그걸 실험이나 반복가능한 패턴으로 검증하고요. 이 모든 최종 업은 궁극적으로 회사의 제품과 알고리즘에 영향을 끼치고 변화를 주는 것이 이상형입니다.

3. 저희 회사가 워낙에 크다보니 역할과 전문기술이 상당히 세분화되어있습니다. 전 DL 전문가는 단연코 아닙니다만 DL의 입장에서만보면 그런 생각은 올드스쿨 맞습니다. 본인이 작업하는 영역이 뭐 기계가 그림 그리고 사람 말을 하게 만드는 일이라면 DL을 핵심적으로 강조하는게 분명히 맞다고 봅니다. 그게 성공해왔으니까요.
그런데 이커머스나 좀 더 큰 조직의 관점에서는 오히려 탈DL이야말로 새롭게 개척중인 영역입니다. 온 동네 모든걸 DL로 하는건 약간 유행 지나서 시들시들해진 느낌입니다. "Neural Collaborative Filtering vs. Matrix Factorization Revisited" https://arxiv.org/abs/2005.09683 이런 논문이 좋은 사례입니다. 그리고 회사에선 더 확실하게 퍼포먼스 개선이 이루기 위해서 어짜피 마지막에는 결국엔 실험이나 인과추론을 뭔가 하게 되어있습니다. 빅 테크 매니저들은 엔지니어들이 승진이나 보너스를 위해 자신이 만든 알고리즘을 과대포장한다는 점을 언제나 강하게 의심하고 있습니다. 이런 최종 관문들을 넘으려면 DL 원툴로는 장담컨데 힘듭니다. 요새 엔지니어들도 그걸 알고 있고 피쳐 엔지니어링을 더 잘 해본다거나 실험 쪽에서 뭘 도입해보거나 여러 측면에서 이리저리 본인의 기여도를 만들기위해 부단히 노력중입니다.