오늘도 서울대학교 AI 여름학교 3일차 프로그램을 오프라인으로 참석하였습니다. 마지막 날인만큼 시간이 너무 빨리간 것 아닌가에 대해서 아쉬움이 생겼던 하루였습니다.

 


 

오늘은 여름 이후에 UT Austin에 조교수 부임하시는 최은솔 박사님의 온라인 세션으로 시작하였습니다. 어제 황승원 교수님의 자연어 처리 세션또한 정말 알차고 많은 정보, 인사이트를 얻었기에 기대가 컸습니다. 최은솔 박사님의 세션은 윤킴 박사님의 세션과 똑같이 모두 영어로 진행되었고 그간 영어 공부를 그래도 틈틈히(?) 해서 어렵지 않게 들을 수 있었습니다.

 

마치 영어 리스닝 수업도 같이 듣는 듯한 기분이였습니다. 아무튼 최은솔 박사님의 강의에서의 핵심 키워드는 Context였습니다. 그 중에서도 세션에서 커버하신 큰 주제들은 Social context, temporal context, geographical context, common sense knowledge, prior conversation history등이 있었고 더 deep하게는 decontextualization에 대해서 자세하고 설명해주셨습니다. 이러한 내용들은 제가 추후 자연어 처리를 연구하는데 있어서 큰 도움이 될 것 같습니다. 논문을 검색하거나 연구 아이디어를 조사하는데 있어서 Keyword만 알아도 정말 시간을 단축하거나 많은 연관성있는 논문 및 자료를 찾을 수 있기 때문입니다.

 

모든 연사님들 교수님들도 해당되는 사항이였지만 최은솔 박사님 또한 그 동안 진행하신 연구에 대해서 자세하게 예를 들어가면서 설명을 해주셨습니다. 그리고 제가 세션 후에 질문드린 내용또한 친절하게 답변을 해주신 점에 대해서는 감사했습니다.

 


 

그다음 세션으로는 알파고를 개발한 유명한 구글의 DeepMind에서 재직 중이신 오준혁 박사님의 세션을 들을 수 있었습니다. 

 

 

세션은 강화학습에 대한 Intro 및 overview를 시작으로 전개가 되어서, 강화학습(RL)에 대해서 잘 모르시는 청중들 또한 충분하게 배려하신 세심함에 감탄하였습니다.

 


 

 

사실 강화학습이 각광받고 떠오르는 분야이긴 한데 많은 분들이 어려운 설명이나 수식에서 좌절을 하시고 포기를 하십니다. 물론 저도 옛날 수식을 보고 기겁해서 포기했던 1 人 입니다. 하지만 지금은 다시 이해가 될때까지 포기하지 않고 계속 찾아나가면서 공부를 하고 있습니다. 왜냐고요?? 대학원(생)이기 때문입니다 ㅎㅎ. 시간이 허락하고 연구를 진행하는데 그에 대한 사전 지식이 없으면 제일 비효율적인 방법이긴 하지만 input으로 많은 시간을 cost값으로 지불합니다. 그리고 이러한 지식을 남에게 전달해주거나 이해하였을 때 정말 큰 보람을 느낍니다.

 

 

사설이 길었는데요. 다시 본론으로 돌아오면 강화학습을 들으면 빠질 수 없는 분야는 Game AI분야 입니다. 가장 최근에 RL을 많이 적용하려는 분야가 국민 게임 스타크래프트입니다. 과연 이 AI가 사람의 명령없이 강화학습만으로 스타크래프트를 진행하거나 사람 게이머와 대결을 할 수 있을 것인가? 라는 주제에 대해서 많은 연구들이 이루어지는 것으로 알 고 있습니다.

 

들으면서 정말 제가 게임에 관심이 많은터라 시간가는 줄도 모르고 세션을 들었습니다. 물론 다른 세션들을 소홀히 들었다는 것은 아닙니다 ㅎㅎ 추후 저도 제 졸업 논문을 쓰고 시간이 허락한다는 전제, 가정하에 강화학습에 대한 연구 및 게임 AI 분야에 대해서도 한번 도전을 해보고 싶습니다.

 


 

그 다음 세션으로는 AI를 입문하시거나 연구하시는 분들은 모두 한번쯤 들어보셨거나 아실 (前) 고려대학교 컴퓨터학과 이자 () KAIST AI학과에 교수로 재직 중이신 주재걸 교수님의 session이 진행되었습니다. 주재걸 교수님은 거의 AI 필드에서 아이돌만큼이나 명성을 가지고 계시고 그만큼 public하게 대중에게 open된 강의도 많이 진행하신 분이기에 많은 분들에게 친숙하신 얼굴입니다. 저또한 주재걸 교수님의 선형대수 강의를 온라인으로 들은 적이 있었는데 저가 대학원 입학 준비를 하는데 있어 많은 도움이 됬습니다. 

 

주재걸 교수님의 Session에서 핵심 topic은 GAN입니다. 연구실 세미나에서도 GAN에 대한 내용을 잠시 접했던 경험이 있었는데 이번 세션을 통하여서 또 다른 시각을 바라볼 수 있었던 점이 인상적이였습니다. 그 다른 시각을 구체적으로 말씀드리자면 User's perspective 즉 사람, 사용자들의 관점에서 바라보는 점입니다. GAN 모델의 ouput 결과에 대해서 사람,유저들의 평가로 evaluation을 진행하여 정량적인 평가를 한다는 점이 신선하였습니다.

 

데이터를 기반으로 정량적인 평가 및 연구를 진행하는 점에 개인적으로 저를 Data science, AI분야로 이끌어준 motivation 중 하나여서 정말 흥미로운 세션이였습니다. 일단 주재걸 교수님은 주어진 2시간을 정말 시간 가시는 줄도 모르고 꽉꽉 알차게 채우셔서 세미나를 진행하셨습니다. 덕분에 이 세미나가 정말 값어치를 매길 수 없을 만큼의 참여 동기를 주었고, 또 한번 오프라인으로 참석하기 잘했다는 점을 시사해준 시간이기도 했습니다. 

 

 

또 한가지 놀라웠던 점 중 하나는 주재걸 교수님이 연구하신 colorization(채색)을 하는 연구가 저의 눈길을 끌었습니다.  위와 같은 연구가 우리가 일상생활에 흔히 접하는 활력소 같은 존재 웹툰 분야에서도 적용되는 점을 보고 한가지 생각이 주마등처럼 머리를 스치고 지나갔습니다.

 

어떤 생각이 들었을까요?ㅎㅎ 바로 Business 도메인적으로 profit을 낼 수 있다는 점과 웹툰 작가들이 겪는 고충 및 need를 충족시켜줄 수 있는 비즈니스 모델이라는 생각이 들었습니다. 이 인사이트를 보고 창업 아이디어가 떠오른 분은 커피 기프티콘을 쏴주시면 감사하겠습니다 ㅎㅎ. (농담입니다~)

 

 

주재걸 교수님의 세션또한 정말 빠르게 시간가는 줄 모르고 지나갔고 정말 위에서도 말했듯이 유료강의 못지 않은 고퀄리티의 세미나였습니다. Image captioning 분야에서도 GAN의 적용 사례를 한번 찾아보고 싶다는 생각이 들면서, 저의 TODO 리스트 책장의 한켠에 또 다른 퀘스트 쌓였습니다.

 

 


 

 

여름에 연구 주제 및 공부를 하는데 방황하던 저에게 오아시스의 샘물같은 기회를 제공해주신 서울대학교 컴퓨터 공학부 교수님들과 AI 여름학교 기획자 분들에게 감사드립니다!! 내년 2021년에도 AI Summer 스쿨이 열린다고 하는데 2020년 겨울이나 방학때도 열리면 좋을 것 같다는 생각이 듭니다.

 

P.S 그리고 현장 참석자가 일정시간이상 교육 이수 및 세션 참가를 하면 수료증을 부여해도 성취감 면에서 고무적일 것 같고, 또한 기념품을 수여받는 다는 느낌이 들 것 같습니다.

 


 

3일동안 정말 알찬 세션들을 통해서 저또한 성장한 점을 확인할 수 있었습니다. 그리고 연구나 brainstorming을 진행하는데 있어서 많은 insight가 있었습니다.

 

 

 

 

 

방학동안 항상 무언가 의미있는 스터디나 확실한 연구 주제를 정하는데 있어서 고민이 굉장히 많았습니다. 더불어 물리적인 시간이 많아지니 위에서 언급한 고민을 해결할 방안을 계속 모색하던 중이었습니다.

 


 

그러던 와중에 친구에게 서울대에서 AI 여름학교 프로그램 소식을 전해들었습니다. 우리가 즐겨보는 TV 프로그램이나 음악 패스티벌처럼 라인업이 정말 탄탄했고 연사 및 연구 세미나를 진행하는 커리큘럼 또한 양적으로나 질적으로 유료 세미나 및 학회 못지 않았습니다.

 

한편으론 이러한 연구, 교육 세미나를 무료로 제공한다는 점 살짝 놀라웠습니다.  

 

온라인으로도 동시에 생방송을 송출한다는 소식을 접하였지만, 오프라인에 무슨 일이 있어도 참석하기 위해서 참가해야 하는 이유를 그래도 고민을 하면서 한땀한땀 적었습니다.

 

그리고 온라인으로 듣게되면 아무래도 집중과 지식을 얻는 효율성 측면에서 많이 떨어지고, 논문의 초록들과 연구 내용들을 skimming 하면서 궁금한 점들이 산더미 같았습니다. 그리고 다른 motivation은 정말 개인적인 이유지만.. 사실 영상 강의로만 뵙고 저의 딥러닝 공부에 있어서 동기부여 및 시작점이신 교수님들의 얼굴을 직접뵈면서 세미나를 청취하고 싶었습니다.

 

딥러닝을 KMooc 온라인 교육 플랫폼을 통하여서 공부를 입문하였고, 그 중에서도 김건희 교수님의 '인공지능 기초' 과목을 들으면서 흥미를 높였고, 계속 이어서 이영기 교수님, 송현오 교수님, 강유 교수님의 강의들을 차례로 들어가면서 딥러닝과 데이터 마이닝 관련 공부를 점진적으로 진행해 나갔습니다.

결국에는 딥러닝에 대한 연구를 조금 더 심층있게 하고 싶어서, 대학원 진학에 motivation이 된 것은 김건희 교수님의 수업 덕분이였습니다. 또한 이전에 관심이 있었던 자연어처리 분야를 연구 및 공부를 하면서 CNN으로 text classification을 하는 task에 있어서 Yoon Kim 박사님의 논문을 인상깊게 읽어서 이번 서울대 AI Summer School 을 꼭 들어야 했습니다.

 


 

 

먼저 1일차(08/10/20)는 개인사정으로 인해서 온라인으로 세미나를 청취하였고, 2일차(08/11/20)인 오늘은 오전 session은 온라인으로 듣고 오후에 진행되는 황승원 교수님의 "Neural Language Models with Knowledge injection" 논문과 NLP 연구에 대한 세미나를 들었습니다. 이전에 고려대학교 강필성 교수님의 자연어 처리 관련 수업을 들은 덕분에 이해를 하는데 있어서 큰 어려움은 없었습니다. 물론 황승원 교수님이 쉽고 직관적으로 이야기를 풀어나가셔서 정말 흥미롭게 세미나를 청취하였습니다.

 

세미나를 들으면서 느꼈던 점은 제가 대학원생 연구자로써 고민했던 문제들이 교수님들의 연사를 들으면서 많은 부분 해결되었습니다. 자연어 처리에서의 Challenges, 문제점들에 대해서 예를 들어서 설명하시고 황승원 교수님이 바라보시는 시각또한 들으니 다른 관점에서도 생각할 수 있는 Insight를 주셨습니다.

 

황승원 교수님 세션 중 놀라웠던 점 중 하나는 Database(SQL)과 NLP의 연구를 같이 접목시켜서 시너지를 낼 수 있다는 점이 상당히 고무적이였습니다. 저가 여태까지 생각한 SQL은 웹서비스를 개발하는 관점에서 DB에서 서비스를 만들때 Query문을 날려서 필요한 정보를 가져오는 정도로만 여태까지 생각하고 있었습니다. 하지만 오늘 세미나를 통해서 Database와 NLP를 접목시키는 연구들 또한 관심이 생겨서 추후 논문 및 정보를 찾아보려고 합니다.

 

황승원 교수님이 던지셨던 질문 중에 굉장히 인상깊었던 것이 있었는데 "엄격한 level의 language modeling이 필요한가?"였습니다. 최근 pretrained model들이 자연어 처리에서 각광을 받기 시작하면서 NLU(자연어 이해)task에서 과연 BERT, GPT-3등이 자연어를 완벽하게 이해하는가에 대해서 의문, 의심이 생겼습니다. 황승원 교수님은 이러한 language model들이 얍삽하게 외워서 performance를 낸다는 다소 재밌는 의견또한 공유해 주셨습니다.

 


 

아 그리고 위에다가 정리는 하지 않았지만 제가 인상깊게 공부하였던 Yoon Kim 박사님의 온라인 세션은 모두 영어로 진행되었습니다. Yoon Kim 박사님의 영어실력은 거의 원어민(native tongue)과 다를 바가 없어서 부가적인 영어 listening 공부또한 같이 하였습니다. 추후에 Yoon Kim 박사님의 세션은 더 부가적으로 제가 공부한 내용과 같이 기록, 포스팅을 남길 예정입니다.

 


컴퓨터 공학부 연구 발표를 들으면서 송현오 교수님은 수학적으로 수식을 증명하시면서 설명하시는 점이 인상깊었고, 김건희 교수님은 제가 오늘 처음 들어본 continual learning 분야에 대해서 진행하신 연구를 통해 설명해주는 점이 인상 깊었습니다. 그리고 유튜브를 보면서 항상 자율주행의 원리와 연구에 대해서 궁금하였는데 이러한 지적 호기심을 해결해주신 이창건 교수님의 session 또한 정말 알찼습니다. 마지막으로 이영기 교수님의 모바일의 관점에서 진행한 딥러닝 연구는 제가 Kmooc에서 들은 강의에 지식을 더 업그레이드하는 경험을 할 수 있었습니다.

 


 

여름에 연구 주제 및 공부를 하는데 방황하던 저에게 오아시스의 샘물같은 기회를 제공해주신 서울대학교 컴퓨터 공학부 교수님들과 AI 여름학교 기획자 분들에게 감사드립니다!! 추후에도 이러한 세미나 및 session을 참관할 수 있는 기회가 주어졌으면 좋겠습니다.

 

 

오늘도 들었던 내용들을 정리하면서 내일의 세미나도 기대가 됩니다!

+ Recent posts