찌질하게 리뷰하는 남자

소감 및 좋은 점 2021년 7월부터 12월까지 반년 동안 이어진 K-Digital Training(국비지원 교육사업)을 드디어 수료하게 됐습니다. 초심을 생각한 지 너무 오래되어서 기억도 나지 않을 정도입니다. 가끔씩 초기에 블로그에 올린 글들을 읽다 보면 이런 생각을 갖고 있었구나 하면서 깜짝깜짝 놀랍니다. 20대의 반년을 소비해야 되는 큰 결정이었는데 큰 고민을 하지 않았던 것 아닌가 하는 생각이 들기도 했습니다. 그래도 6개월 동안 사람 만나는 거 다 포기하고 컴퓨터 앞에만 앉아있었더니 확실 전후의 차이가 큽니다. AI에 관한 지식이 전무했던 6개월 전과 깃허브와 블로그에 AI 관련 글을 업로드하는 지금은 정말 많이 다릅니다. AI나 Data에 대해 전혀 알지 못했을 때는 이 분야가 접근 못할 정..

지난 한 달은 눈앞에 닥친 일들을 수습하는데 급급한 나머지 블로그 포스팅에는 전혀 신경 쓰지 못했습니다. 지난 한 달 동안 난생처음 보는 이론들, 모델들, 데이터들을 소화시키느라 아주 죽을 맛이었습니다. 이번에 졸업 논문을 쓰면서 난생처음 논문을 보고 쓰는 기회를 가졌었는데, 이번 파이널 프로젝트(캐글 대회) 덕분에 수십 편의 논문을 읽게 되는 계기가 되었습니다.(사실 수십 편은 아니고 10편 정도 읽었습니다.) 파이널 프로젝트를 하면서 AI라는 분야가 굉장히 급변하고 있고 전문적인 분야라고 절실히 느꼈습니다. 학부 전공 공부를 하면서 논문 볼 기회가 전혀 없었는데(디자인 계열이라 논문보다는 잡지나 핀터레스트를 많이 봄) 대회 하나 준비하면서 세계 곳곳의 석학들이 집필한 최신(?) 논문으로 정보를 접해야..

10월 말부터 현재까지 굉장히 숨 가쁜 생활이 이어졌습니다. NLP 미니 프로젝트부터 캐글 대회, 컴퓨터 비전, 학교 졸업 준비까지.. 몸이 두 개는 되어야 그 진도를 따라가겠다 싶었습니다. 밑 빠진 독에 물을 채워 넣는 느낌이 드는 3주였지만 하다 보니 요령이 생겨서 조악하게나마 마무리되어 블로그 포스팅 여유가 잠깐 생겼습니다. NLP 프로젝트 후기에 대한 글은 이미 올린 적이 있으니까 먼저 캐글 대회 후기를 적어보려합니다. 제가 이번에 참가한 캐글 대회는 'Google Brain'이 주최한 'Ventilator Pressure Prediction'이었습니다. 이 대회의 목표는 회귀 예측 대회였습니다. 'Google Brain'이 주최한 영향도 있고 오랜만에 공신력(?) 있는 대회여서 그런지 전 세계 ..

제가 블로그에서 몇 편의 글로 NLP 공부하고 있다고 티를 좀 냈었습니다. 잘 찾아보면 제가 쓴 글보다 훨씬 전문적이고 체계적으로 설명된 글이 많은데 살짝 창피합니다. 이거 썼다가 저거 썼다가 중구난방으로 글을 쓰느라 설명하는 글로는 효용성이 없었죠. 어쨌든 KDT 과정에서 짧디 짧게 이뤄졌던 NLP 교육이 Mini Project로 마무리됐습니다. 이번 Mini-Project는 Kaggle Quora- pair-sentence(closed)입니다. 이번 Project는 STS(Semantic Textual Similarity)로 같은 의미의 text를 판별하는 작업입니다. 문장의 의미가 같냐 다르냐를 판별하기 위해서는 단어를 임베딩 하는 과정과 임베딩 한 단어를 RNN 등의 네트워크에 적용 및 유사도 측..

후.. 저는 2021년 10월 8일에 코로나 백신 2차 접종은 맞았습니다. 남들에 비해 살짝 늦긴 했지만 결국에는 다 맞아버렸습니다. 이 글을 읽는 분들도 부디 다 맞으시면 좋겠습니다. 이웃의 건강과 우리 사회의 정상화를 위해 꼭 해야 하는 일이니 맞는 게 옳다고 생각합니다. 그런데 저는 운이 없는 건지 몸이 원래 약한 건지 부작용이 살짝 오래갔습니다. 오늘 기준으로 백신을 맞은 지 1주일이 되었지만 아직도 통증 때문에 집중이 힘들고 생산성도 바닥을 쳤습니다. 정확히는 몸살 기운, 통증, 오한, 피로감 이런 게 심합니다. 여파로 학습에 지대한 영향을 줘 학습 과정을 따라가는 데에 무리가 갔었습니다. 몇 년 전에 이름 모를 바이러스에 감염되어 거의 한 달을 넘게 앓았던 적이 있는데 한 달은 거의 시체처럼 ..

제목부터 총체적 난국입니다. 영어만 쓰여있는 데다가 약어로 쓰여있어서 도대체 무슨 말이지 싶습니다. 저번 글에서 이번 글은 차원 축소 및 word2vec에 대해 다룬다고 했었는데 살짝 힘들게 되었습니다. 최근 실무에서는 word2vec은 옛날 기술이 되고 TF-IDF가 더 익숙한가 봅니다. TF-IDF도 금방 옛날 기술이 되겠지요.. 저번 글에서 NLP Workflow에 대해 이야기하면서 TF-IDF를 스쳐 지나듯 이야기했었습니다. 그리고 Downstream Task에 대해서도 스쳐 지나가듯 이야기했습니다. 정확히 이야기하면 다뤘지만 너무 초기의 이론에 대해서만 이야기했었습니다. 그리고 오늘 수업 시간에 꽤 진지하게 다뤄진 이야기이기 때문에 TF-IDF와 STS에 대해 짚고 넘어가겠습니다. TF-IDF의..

저번 글에서 NLP의 통계적 접근 방법을 다뤘습니다. 자연어 처리가 무엇이고 통계적 접근 방법은 또 무엇인지 꽤 장황하게 다뤘습니다. 그런데 NLP의 큰 그림을 안 다루고 처음부터 정신없이 진도를 나가다 보니 약간 혼란이 오네요. 쓰고 보니 내가 지금 NLP 작업 중에 어떤 부분을 하고 있는 건가 싶습니다. 이번 글은 NLP Workflow를 저번 글 내용과 연결해서 이야기하겠습니다. NLP Workflow는 다음과 같습니다. 데이터 수집 데이터 전처리 임베딩 Downstream task prediction 데이터 수집 저번 글에서 데이터 수집은 다음과 같이 짤막하게 준비했었습니다. text = "You say goodbye and I say hello." 보통 의미있는 학습을 하려면 "repo"나 크롤..

이번 주 들어 본격적으로 자연어 처리에 대해 공부하기 시작했습니다. 자연어 처리는 AI 3 대장 중 하나라고 합니다. AI 3 대장은 현재 AI에서 가장 많이 쓰이고 있는 분야 세 가지를 꼽은 건데, 자연어 처리 컴퓨터 비젼 스피치 프로세싱 위의 세 개가 AI 3 대장이라고 합니다. 자연어 처리는 딥러닝 등장 이전에도 존재해왔는데 등장 이후 성능이 퀀텀 점프를 하면서 주목을 받았다고 합니다. 일단 자연어라는 단어부터 생소합니다. 평소에 거의 쓰지 않는 단어라서 그렇습니다. 우리가 흔히 생각하고 우리가 현재 쓰고 있는 한국어, 영어 같은 언어가 자연어라고 보면 됩니다. 누군가 의도적으로 만들지 않고 자연적으로 생겨난 부드러운 언어라고 생각하면 됩니다. 그 반대로 파이썬, C++, Java, HTML(?) ..

제목은 거창하게 썼는데 결론적으로 K-Digital Training에 참여하고 나서 제 주식 투자 방향이 살짝 방황하고 있기에 이에 대한 글을 쓰고 싶었습니다. K-Digital Training에 참여하고 나서 제일 많이 바뀐 점은 하루 평균 12시간을 공부에 투자하는 것입니다. 과정 참여 전에는 기상 후 2시간 정도는 뉴스와 증권 보고서를 읽고 분석하는데 시간을 썼습니다. 제가 투자하는 기업과 관련 산업들에 대한 보고서를 매일 팔로우하며 투자에 대한 힌트를 얻었지요. 그런데 요즘은 매일 아침 기상하자마자 공부 모드에 돌입해 이게 불가능해졌습니다. 그렇다고 딥러닝과 주식투자의 연계성은 자투리 시간이 있냐 없냐가 아닙니다. 이 이야기를 시작하려면 코로나 이전으로 돌아가야합니다. 대학교 4학년 저는 왓챠 서..

https://youtu.be/sucqskXRkss 위 링크는 ICLR에서 Ian Goddfellow가 GAN 및 2019년 기준 최신 연구를 발표한 영상입니다. ICLR은 매년 전 세계에서 열리는 머신 러닝 컨퍼런스이고 Ian Goodfellow는 GAN의 아이디어를 세상에 알린 사람입니다. 워낙 이해하기 어려워서 유튜브를 서칭하며 공부하다가 보게 된 영상인데 GAN의 창시자가 직접 이야기해주니 감회가 남다른 영상입니다. 마지막 수업 시간에 GAN에 대한 수업을 들었습니다. 사실 GAN이 원리 때문에 내용도 어렵고 이미지를 학습하다보니 리소스도 많이 필요합니다. 그래서 수업 시간에 이를 이해하고 어떻게 구현하는 건지 알고 넘어가기 힘들었습니다. 그래도 Youtube와 책을 통해 이해는 하고 넘어가야겠지..