찌질하게 리뷰하는 남자

10월 말부터 현재까지 굉장히 숨 가쁜 생활이 이어졌습니다. NLP 미니 프로젝트부터 캐글 대회, 컴퓨터 비전, 학교 졸업 준비까지.. 몸이 두 개는 되어야 그 진도를 따라가겠다 싶었습니다. 밑 빠진 독에 물을 채워 넣는 느낌이 드는 3주였지만 하다 보니 요령이 생겨서 조악하게나마 마무리되어 블로그 포스팅 여유가 잠깐 생겼습니다. NLP 프로젝트 후기에 대한 글은 이미 올린 적이 있으니까 먼저 캐글 대회 후기를 적어보려합니다. 제가 이번에 참가한 캐글 대회는 'Google Brain'이 주최한 'Ventilator Pressure Prediction'이었습니다. 이 대회의 목표는 회귀 예측 대회였습니다. 'Google Brain'이 주최한 영향도 있고 오랜만에 공신력(?) 있는 대회여서 그런지 전 세계 ..

저는 가진 돈이 쥐꼬리 밖에 없지만 티끌 모아 태산이라고 투자로 조금씩 불리고 있습니다. 그래도 매달 늘어나는 돈의 액수가 최저시급 받으며 일했을 때보다 많은 걸 보면 이거라도 할 걸 잘했다는 생각이 들 때가 많습니다. 대학 3학년 때부터 꽤 진지하게 투자를 시작해 용돈 벌이를 했었는데 꽤 심도 깊은 분석과 고민 끝에 투자를 진행하기 때문에 기록 및 공유의 필요성을 느끼고 있었습니다. 그리고 올해부터는 간단하게 제가 소유한 종목들을 트래킹하고 있는데 제 수익률을 자랑할 겸 혹은 채찍을 맞을 겸 매달 공개도 하고 싶었습니다. 저는 보통 투자로 수익을 노린다면 단기적인 성장 모멘텀을 유심히 분석합니다. 그래서 굳이 따지자면 성장주 투자에 가깝습니다. 제가 여기에 굳이 따진 이유는 성장주 투자이면서 가치주 투..

제가 블로그에서 몇 편의 글로 NLP 공부하고 있다고 티를 좀 냈었습니다. 잘 찾아보면 제가 쓴 글보다 훨씬 전문적이고 체계적으로 설명된 글이 많은데 살짝 창피합니다. 이거 썼다가 저거 썼다가 중구난방으로 글을 쓰느라 설명하는 글로는 효용성이 없었죠. 어쨌든 KDT 과정에서 짧디 짧게 이뤄졌던 NLP 교육이 Mini Project로 마무리됐습니다. 이번 Mini-Project는 Kaggle Quora- pair-sentence(closed)입니다. 이번 Project는 STS(Semantic Textual Similarity)로 같은 의미의 text를 판별하는 작업입니다. 문장의 의미가 같냐 다르냐를 판별하기 위해서는 단어를 임베딩 하는 과정과 임베딩 한 단어를 RNN 등의 네트워크에 적용 및 유사도 측..

후.. 저는 2021년 10월 8일에 코로나 백신 2차 접종은 맞았습니다. 남들에 비해 살짝 늦긴 했지만 결국에는 다 맞아버렸습니다. 이 글을 읽는 분들도 부디 다 맞으시면 좋겠습니다. 이웃의 건강과 우리 사회의 정상화를 위해 꼭 해야 하는 일이니 맞는 게 옳다고 생각합니다. 그런데 저는 운이 없는 건지 몸이 원래 약한 건지 부작용이 살짝 오래갔습니다. 오늘 기준으로 백신을 맞은 지 1주일이 되었지만 아직도 통증 때문에 집중이 힘들고 생산성도 바닥을 쳤습니다. 정확히는 몸살 기운, 통증, 오한, 피로감 이런 게 심합니다. 여파로 학습에 지대한 영향을 줘 학습 과정을 따라가는 데에 무리가 갔었습니다. 몇 년 전에 이름 모를 바이러스에 감염되어 거의 한 달을 넘게 앓았던 적이 있는데 한 달은 거의 시체처럼 ..

제목부터 총체적 난국입니다. 영어만 쓰여있는 데다가 약어로 쓰여있어서 도대체 무슨 말이지 싶습니다. 저번 글에서 이번 글은 차원 축소 및 word2vec에 대해 다룬다고 했었는데 살짝 힘들게 되었습니다. 최근 실무에서는 word2vec은 옛날 기술이 되고 TF-IDF가 더 익숙한가 봅니다. TF-IDF도 금방 옛날 기술이 되겠지요.. 저번 글에서 NLP Workflow에 대해 이야기하면서 TF-IDF를 스쳐 지나듯 이야기했었습니다. 그리고 Downstream Task에 대해서도 스쳐 지나가듯 이야기했습니다. 정확히 이야기하면 다뤘지만 너무 초기의 이론에 대해서만 이야기했었습니다. 그리고 오늘 수업 시간에 꽤 진지하게 다뤄진 이야기이기 때문에 TF-IDF와 STS에 대해 짚고 넘어가겠습니다. TF-IDF의..

저번 글에서 NLP의 통계적 접근 방법을 다뤘습니다. 자연어 처리가 무엇이고 통계적 접근 방법은 또 무엇인지 꽤 장황하게 다뤘습니다. 그런데 NLP의 큰 그림을 안 다루고 처음부터 정신없이 진도를 나가다 보니 약간 혼란이 오네요. 쓰고 보니 내가 지금 NLP 작업 중에 어떤 부분을 하고 있는 건가 싶습니다. 이번 글은 NLP Workflow를 저번 글 내용과 연결해서 이야기하겠습니다. NLP Workflow는 다음과 같습니다. 데이터 수집 데이터 전처리 임베딩 Downstream task prediction 데이터 수집 저번 글에서 데이터 수집은 다음과 같이 짤막하게 준비했었습니다. text = "You say goodbye and I say hello." 보통 의미있는 학습을 하려면 "repo"나 크롤..

이번 주 들어 본격적으로 자연어 처리에 대해 공부하기 시작했습니다. 자연어 처리는 AI 3 대장 중 하나라고 합니다. AI 3 대장은 현재 AI에서 가장 많이 쓰이고 있는 분야 세 가지를 꼽은 건데, 자연어 처리 컴퓨터 비젼 스피치 프로세싱 위의 세 개가 AI 3 대장이라고 합니다. 자연어 처리는 딥러닝 등장 이전에도 존재해왔는데 등장 이후 성능이 퀀텀 점프를 하면서 주목을 받았다고 합니다. 일단 자연어라는 단어부터 생소합니다. 평소에 거의 쓰지 않는 단어라서 그렇습니다. 우리가 흔히 생각하고 우리가 현재 쓰고 있는 한국어, 영어 같은 언어가 자연어라고 보면 됩니다. 누군가 의도적으로 만들지 않고 자연적으로 생겨난 부드러운 언어라고 생각하면 됩니다. 그 반대로 파이썬, C++, Java, HTML(?) ..

제목은 거창하게 썼는데 결론적으로 K-Digital Training에 참여하고 나서 제 주식 투자 방향이 살짝 방황하고 있기에 이에 대한 글을 쓰고 싶었습니다. K-Digital Training에 참여하고 나서 제일 많이 바뀐 점은 하루 평균 12시간을 공부에 투자하는 것입니다. 과정 참여 전에는 기상 후 2시간 정도는 뉴스와 증권 보고서를 읽고 분석하는데 시간을 썼습니다. 제가 투자하는 기업과 관련 산업들에 대한 보고서를 매일 팔로우하며 투자에 대한 힌트를 얻었지요. 그런데 요즘은 매일 아침 기상하자마자 공부 모드에 돌입해 이게 불가능해졌습니다. 그렇다고 딥러닝과 주식투자의 연계성은 자투리 시간이 있냐 없냐가 아닙니다. 이 이야기를 시작하려면 코로나 이전으로 돌아가야합니다. 대학교 4학년 저는 왓챠 서..

https://youtu.be/sucqskXRkss 위 링크는 ICLR에서 Ian Goddfellow가 GAN 및 2019년 기준 최신 연구를 발표한 영상입니다. ICLR은 매년 전 세계에서 열리는 머신 러닝 컨퍼런스이고 Ian Goodfellow는 GAN의 아이디어를 세상에 알린 사람입니다. 워낙 이해하기 어려워서 유튜브를 서칭하며 공부하다가 보게 된 영상인데 GAN의 창시자가 직접 이야기해주니 감회가 남다른 영상입니다. 마지막 수업 시간에 GAN에 대한 수업을 들었습니다. 사실 GAN이 원리 때문에 내용도 어렵고 이미지를 학습하다보니 리소스도 많이 필요합니다. 그래서 수업 시간에 이를 이해하고 어떻게 구현하는 건지 알고 넘어가기 힘들었습니다. 그래도 Youtube와 책을 통해 이해는 하고 넘어가야겠지..

오늘은 합성곱 오토 인코더를 구현하는 수업을 들었습니다. 저번 글에서 오토 인코더에 대한 이야기를 하며 잠깐 언급했는데 저번에 이야기했던 오토 인코더에 CNN 아이디어를 도입한 신경망입니다. CNN은 미국의 뉴스 채널이 아니라 Convolutional Neural Network입니다. CNN은 ResNet이나 SENet을 예로 보면 이미지 학습에 탁월해서 사람보다 이미지 분류 능력이 뛰어나게 학습도 가능합니다. 이런 이유로 CNN은 이미지 학습에 좋은 성능을 내지 못하는 오토 인코더와 같이 쓰면 오토 인코더의 이미지 학습 성능이 좋아집니다. 오토 인코더의 구조는 인코더와 디코더로 이루어져 있다고 저번에 이야기했었는데요. 적층으로 구성될 때는 이 구조가 대칭이어서 인코더에서 뉴런이 줄었다면 디코더에서는 뉴..