찌질하게 리뷰하는 남자

서론 'Ventilator Pressure Prediction'은 2021년 11월 3일에 끝난 대회다. 새삼스레 왜 12월 하순이 되어서 이 글을 쓰게 되었냐면 12월 17일까지 빡빡하게 들어차 있던 K-Digital Train 교육 과정이 나를 괴롭히고 있었기 때문이다. 매일매일 하루 12시간 가까운 시간을 빼앗고 내 기력까지 앗아가는 바람에 지금 쓸 수 있게 되었다. 한 번은 당시 정신없이 해치웠던 작업들을 정리하는 시간이 필요했다. 이 대회는 제목에서 볼 수 있듯 Google Brain에서 주최했고, 산소호흡기의 압력을 예측하는 대회다. Google Brain은 우리가 알고 있는 '구글'의 딥 러닝 인공지능 연구팀이다. 산소호흡기까지 연구하는 것을 보면 상상 이상으로 다방면의 연구를 진행하는 연구..

저번 글에서 NLP의 통계적 접근 방법을 다뤘습니다. 자연어 처리가 무엇이고 통계적 접근 방법은 또 무엇인지 꽤 장황하게 다뤘습니다. 그런데 NLP의 큰 그림을 안 다루고 처음부터 정신없이 진도를 나가다 보니 약간 혼란이 오네요. 쓰고 보니 내가 지금 NLP 작업 중에 어떤 부분을 하고 있는 건가 싶습니다. 이번 글은 NLP Workflow를 저번 글 내용과 연결해서 이야기하겠습니다. NLP Workflow는 다음과 같습니다. 데이터 수집 데이터 전처리 임베딩 Downstream task prediction 데이터 수집 저번 글에서 데이터 수집은 다음과 같이 짤막하게 준비했었습니다. text = "You say goodbye and I say hello." 보통 의미있는 학습을 하려면 "repo"나 크롤..

오늘은 합성곱 오토 인코더를 구현하는 수업을 들었습니다. 저번 글에서 오토 인코더에 대한 이야기를 하며 잠깐 언급했는데 저번에 이야기했던 오토 인코더에 CNN 아이디어를 도입한 신경망입니다. CNN은 미국의 뉴스 채널이 아니라 Convolutional Neural Network입니다. CNN은 ResNet이나 SENet을 예로 보면 이미지 학습에 탁월해서 사람보다 이미지 분류 능력이 뛰어나게 학습도 가능합니다. 이런 이유로 CNN은 이미지 학습에 좋은 성능을 내지 못하는 오토 인코더와 같이 쓰면 오토 인코더의 이미지 학습 성능이 좋아집니다. 오토 인코더의 구조는 인코더와 디코더로 이루어져 있다고 저번에 이야기했었는데요. 적층으로 구성될 때는 이 구조가 대칭이어서 인코더에서 뉴런이 줄었다면 디코더에서는 뉴..

사실 다른 모델들과 비교하면 Autoencoder를 높은 벽이라 부르기 어렵습니다. 오히려 쉬운 편이라고 볼 수 있습니다. 그런데 제가 어렵게 느꼈습니다. 그러면 개인적으로는 높은 벽이라 부를 수 있겠죠.. 오토 인코더는 기본적으로 비지도 학습이라고 봅니다. 그 이유는 따로 레이블 되어 있지 않기 때문이죠. 레이블이 없는 문제는 보통 지도 학습이라고 보지 않습니다. 오토 인코더는 latent representation(잠재 표현)이 입력 데이터의 밀집 표현을 학습하는 인공 신경망입니다. 또는 입력 데이터의 패턴을 학습해 비슷한 데이터를 생성해내는 알고리즘이라고 보면 됩니다. 그래서 입력 데이터를 차원 축소해 낮은 화질의 이미지를 생성하거나 오토 인코더 그 자체로 feature-extraction 하는 알..