방학동안 항상 무언가 의미있는 스터디나 확실한 연구 주제를 정하는데 있어서 고민이 굉장히 많았습니다. 더불어 물리적인 시간이 많아지니 위에서 언급한 고민을 해결할 방안을 계속 모색하던 중이었습니다.
그러던 와중에 친구에게 서울대에서 AI 여름학교 프로그램 소식을 전해들었습니다. 우리가 즐겨보는 TV 프로그램이나 음악 패스티벌처럼 라인업이 정말 탄탄했고 연사 및 연구 세미나를 진행하는 커리큘럼 또한 양적으로나 질적으로 유료 세미나 및 학회 못지 않았습니다.
한편으론 이러한 연구, 교육 세미나를 무료로 제공한다는 점 살짝 놀라웠습니다.
온라인으로도 동시에 생방송을 송출한다는 소식을 접하였지만, 오프라인에 무슨 일이 있어도 참석하기 위해서 참가해야 하는 이유를 그래도 고민을 하면서 한땀한땀 적었습니다.
그리고 온라인으로 듣게되면 아무래도 집중과 지식을 얻는 효율성 측면에서 많이 떨어지고, 논문의 초록들과 연구 내용들을 skimming 하면서 궁금한 점들이 산더미 같았습니다. 그리고 다른 motivation은 정말 개인적인 이유지만.. 사실 영상 강의로만 뵙고 저의 딥러닝 공부에 있어서 동기부여 및 시작점이신 교수님들의 얼굴을 직접뵈면서 세미나를 청취하고 싶었습니다.
딥러닝을 KMooc 온라인 교육 플랫폼을 통하여서 공부를 입문하였고, 그 중에서도 김건희 교수님의 '인공지능 기초' 과목을 들으면서 흥미를 높였고, 계속 이어서 이영기 교수님, 송현오 교수님, 강유 교수님의 강의들을 차례로 들어가면서 딥러닝과 데이터 마이닝 관련 공부를 점진적으로 진행해 나갔습니다.
결국에는 딥러닝에 대한 연구를 조금 더 심층있게 하고 싶어서, 대학원 진학에 motivation이 된 것은 김건희 교수님의 수업 덕분이였습니다. 또한 이전에 관심이 있었던 자연어처리 분야를 연구 및 공부를 하면서 CNN으로 text classification을 하는 task에 있어서 Yoon Kim 박사님의 논문을 인상깊게 읽어서 이번 서울대 AI Summer School 을 꼭 들어야 했습니다.
먼저 1일차(08/10/20)는 개인사정으로 인해서 온라인으로 세미나를 청취하였고, 2일차(08/11/20)인 오늘은 오전 session은 온라인으로 듣고 오후에 진행되는 황승원 교수님의 "Neural Language Models with Knowledge injection" 논문과 NLP 연구에 대한 세미나를 들었습니다. 이전에 고려대학교 강필성 교수님의 자연어 처리 관련 수업을 들은 덕분에 이해를 하는데 있어서 큰 어려움은 없었습니다. 물론 황승원 교수님이 쉽고 직관적으로 이야기를 풀어나가셔서 정말 흥미롭게 세미나를 청취하였습니다.
세미나를 들으면서 느꼈던 점은 제가 대학원생 연구자로써 고민했던 문제들이 교수님들의 연사를 들으면서 많은 부분 해결되었습니다. 자연어 처리에서의 Challenges, 문제점들에 대해서 예를 들어서 설명하시고 황승원 교수님이 바라보시는 시각또한 들으니 다른 관점에서도 생각할 수 있는 Insight를 주셨습니다.
황승원 교수님 세션 중 놀라웠던 점 중 하나는 Database(SQL)과 NLP의 연구를 같이 접목시켜서 시너지를 낼 수 있다는 점이 상당히 고무적이였습니다. 저가 여태까지 생각한 SQL은 웹서비스를 개발하는 관점에서 DB에서 서비스를 만들때 Query문을 날려서 필요한 정보를 가져오는 정도로만 여태까지 생각하고 있었습니다. 하지만 오늘 세미나를 통해서 Database와 NLP를 접목시키는 연구들 또한 관심이 생겨서 추후 논문 및 정보를 찾아보려고 합니다.
황승원 교수님이 던지셨던 질문 중에 굉장히 인상깊었던 것이 있었는데 "엄격한 level의 language modeling이 필요한가?"였습니다. 최근 pretrained model들이 자연어 처리에서 각광을 받기 시작하면서 NLU(자연어 이해)task에서 과연 BERT, GPT-3등이 자연어를 완벽하게 이해하는가에 대해서 의문, 의심이 생겼습니다. 황승원 교수님은 이러한 language model들이 얍삽하게 외워서 performance를 낸다는 다소 재밌는 의견또한 공유해 주셨습니다.
아 그리고 위에다가 정리는 하지 않았지만 제가 인상깊게 공부하였던 Yoon Kim 박사님의 온라인 세션은 모두 영어로 진행되었습니다. Yoon Kim 박사님의 영어실력은 거의 원어민(native tongue)과 다를 바가 없어서 부가적인 영어 listening 공부또한 같이 하였습니다. 추후에 Yoon Kim 박사님의 세션은 더 부가적으로 제가 공부한 내용과 같이 기록, 포스팅을 남길 예정입니다.
컴퓨터 공학부 연구 발표를 들으면서 송현오 교수님은 수학적으로 수식을 증명하시면서 설명하시는 점이 인상깊었고, 김건희 교수님은 제가 오늘 처음 들어본 continual learning 분야에 대해서 진행하신 연구를 통해 설명해주는 점이 인상 깊었습니다. 그리고 유튜브를 보면서 항상 자율주행의 원리와 연구에 대해서 궁금하였는데 이러한 지적 호기심을 해결해주신 이창건 교수님의 session 또한 정말 알찼습니다. 마지막으로 이영기 교수님의 모바일의 관점에서 진행한 딥러닝 연구는 제가 Kmooc에서 들은 강의에 지식을 더 업그레이드하는 경험을 할 수 있었습니다.
여름에 연구 주제 및 공부를 하는데 방황하던 저에게 오아시스의 샘물같은 기회를 제공해주신 서울대학교 컴퓨터 공학부 교수님들과 AI 여름학교 기획자 분들에게 감사드립니다!! 추후에도 이러한 세미나 및 session을 참관할 수 있는 기회가 주어졌으면 좋겠습니다.
오늘도 들었던 내용들을 정리하면서 내일의 세미나도 기대가 됩니다!