Studyenthusiast

이번 방학 또한 작년과 동일하게 서울대학교 AI 연구원에서 주최하는 AI Summer School의 세미나 및 튜토리얼을 수강하였습니다.

작년과 금년 2021년 AI Summer School 한 가지 다른 점이 있다면 이번 여름은 모든 연사님들이 Youtube 및 Zoom으로 실시간 송출하는 방식으로 진행되었습니다. 현재 코로나 사태로 인해서 오프라인으로 참석하지 못하는 점이 조금 아쉬웠지만 실시간 온라인으로 진행을 하여도 연사님들의 열정 및 intuition이 대단하신 것을 느낄 수 있었습니다. 그리고 작년에 발표자로 참여해주신 황승원 교수님께서 사회를 봐주셔서 반갑기도 하였습니다. 

개인적으로 작년에는 머신러닝, 딥러닝을 처음 접하면서 스터디나 확실한 연구주제(or keyword)등 초심자로써 방향을 잡는데 많은 어려움을 겪었습니다. 개인적으로 매일매일 유튜브에서 먼저 Sung Kim 교수님의 모두의 딥러닝과 Andrew NG 교수님의 Coursera라 강의로 한글, 영어강의를 들으면서 기초를 많이 닦았습니다.

그 후에는 AI Summer School 2020를 오프라인으로 청취하였습니다. 물론 모든 내용들을 다 알아들었던 것은 아니지만, 들으면서 내용을 미리 찾아보고 듣는 도중 필기하여 궁금증이 안풀리는 부분들은 연사님들께 질문을 하여 insight 및 답변들을 들을 수 있었습니다.

 첫째 날(08/09/21)에는 Google brain에 재직 중이신 김빈 박사님의 발표로 시작되었습니다. 발표의 주된 topic 및 keyword는 interpretability였습니다. 최근에 제가 연구 중인 XAI 분야의 논문 및 코드 구현을 통해 intrepretability에 관하여 많은 시간을 할애하는터라 나누어주신 발표는 제게 많은 도움이 되었습니다. 조금 더 정확하게 말하자면 이미지 데이터에 Layerwise relevance prorogation을 적용하며 어떻게 interpretability를 represent할 것인지에 대한 아이디어가 떠올랐습니다. 그리고 CaCE발표를 들으면서 causality에 대하여 들으면서 이쪽 분야에 대한 논문 및 공부자료도 참고해볼 예정입니다. 연사님께서 영어를 엄청 잘하셔서 교포인줄 알았는데 한글로도 답을 잘해주셔서 놀라웠습니다.

그리고 inductive bias에 대해서도 다시 쉽게 설명해주셔서 고려대학교 강필성 교수님 수업에서 들었던 내용을 다시 상기 및 내용을 다시 한번 생각해볼 수 있어서 좋았습니다.

2번째 session에서는 김승연 박사님께서 distillation을 statistical하게 접근하여 설명을 해주셨습니다. 해당된 접근법은 저에게 다소 새로워서 필기를 하며 제가 궁금했던 부분은 적어서 추후 검색 및 논문을 참조하여 복습을 할 예정입니다. 그리고 "Distilling from imperfect teacher"를 증명하는 부분이 흥미로웠는데 수식에 대한 설명과 왜 그렇게 진행되는지에 대한 why를 자세히 설명해주셔서 제가 몰랐던 새로운 지식또한 얻어갈 수 있었습니다.

그리고 오전세션에서 황승원 교수님이 reinforcement learning에 관하여 견해 및 insight있는 질문을 공유해 주셨습니다.

저번 년도에도 연사로 참여해주신 송현오 교수님이 data augmentation과 mixup에 대하여 연구 및 결과를 공유해주셨습니다. 이전에 제가 주로 생각해보지 않은 이론적인 부분을 정말 상세하게 설명을 해주셔서 이전에 image data augmentation인 mixup에서 궁금했던 부분을 해결할 수 있었습니다. 또한 그리고 이러한 data augmentation을 진행하는데 있어서 OR적인 부분을 응용하여 main objective를 통하여 objective function을 통하여 증명을 해주신 것이 친근하였습니다. 이전에 제가 OR수강을 한 것이 도움이 되지 않았나 싶습니다. 그리고 summary를 wrap up하시면서 연구 및 실험을 다시 친절하게 정리 해주셔서 감사했습니다.

마지막으로는 이제희 교수님이 "How to Train Your Virtual Dragon via Deep Learning"이란 주제로 세미나를 진행해주셨습니다. 보행시뮬레이션을 통하여 실험을 진행하며 이에 대한 장단점을 의료분야를 통하여 설명을 해주셨습니다. 이러한 예들은 실제 상황에서도 적용될 수 있는 유용한 연구로써 사회 및 의료 분야에도 많은 부분을 기여할 수 있다고 생각이 들었습니다. 이러한 보행 시뮬레이션은 환자의 재활 및 스포츠 분야에서도 적용될 수 있다는 생각이 들었습니다.

이번 년도 작년과 다름없이 무료로 양질과 열정이 담긴 연구 세미나를 개최 해주셔서 감사합니다. 2020년보다 더 많이 공부한 상태에서 청취하였지만 금년에도 다른 테마의 강의 및 Q&A 진행방식을 통하여 다른 분들의 답변 및 질문에서도 많은 insight를 얻을 수 있어서 매우 유익하였습니다.

오늘도 들었던 내용들을 정리하면서 내일의 세미나도 기대가 됩니다!

오늘도 서울대학교 AI 여름학교 3일차 프로그램을 오프라인으로 참석하였습니다. 마지막 날인만큼 시간이 너무 빨리간 것 아닌가에 대해서 아쉬움이 생겼던 하루였습니다.

오늘은 여름 이후에 UT Austin에 조교수 부임하시는 최은솔 박사님의 온라인 세션으로 시작하였습니다. 어제 황승원 교수님의 자연어 처리 세션또한 정말 알차고 많은 정보, 인사이트를 얻었기에 기대가 컸습니다. 최은솔 박사님의 세션은 윤킴 박사님의 세션과 똑같이 모두 영어로 진행되었고 그간 영어 공부를 그래도 틈틈히(?) 해서 어렵지 않게 들을 수 있었습니다.

마치 영어 리스닝 수업도 같이 듣는 듯한 기분이였습니다. 아무튼 최은솔 박사님의 강의에서의 핵심 키워드는 Context였습니다. 그 중에서도 세션에서 커버하신 큰 주제들은 Social context, temporal context, geographical context, common sense knowledge, prior conversation history등이 있었고 더 deep하게는 decontextualization에 대해서 자세하고 설명해주셨습니다. 이러한 내용들은 제가 추후 자연어 처리를 연구하는데 있어서 큰 도움이 될 것 같습니다. 논문을 검색하거나 연구 아이디어를 조사하는데 있어서 Keyword만 알아도 정말 시간을 단축하거나 많은 연관성있는 논문 및 자료를 찾을 수 있기 때문입니다.

모든 연사님들 교수님들도 해당되는 사항이였지만 최은솔 박사님 또한 그 동안 진행하신 연구에 대해서 자세하게 예를 들어가면서 설명을 해주셨습니다. 그리고 제가 세션 후에 질문드린 내용또한 친절하게 답변을 해주신 점에 대해서는 감사했습니다.

그다음 세션으로는 알파고를 개발한 유명한 구글의 DeepMind에서 재직 중이신 오준혁 박사님의 세션을 들을 수 있었습니다. 

세션은 강화학습에 대한 Intro 및 overview를 시작으로 전개가 되어서, 강화학습(RL)에 대해서 잘 모르시는 청중들 또한 충분하게 배려하신 세심함에 감탄하였습니다.

사실 강화학습이 각광받고 떠오르는 분야이긴 한데 많은 분들이 어려운 설명이나 수식에서 좌절을 하시고 포기를 하십니다. 물론 저도 옛날 수식을 보고 기겁해서 포기했던 1 人 입니다. 하지만 지금은 다시 이해가 될때까지 포기하지 않고 계속 찾아나가면서 공부를 하고 있습니다. 왜냐고요?? 대학원(생)이기 때문입니다 ㅎㅎ. 시간이 허락하고 연구를 진행하는데 그에 대한 사전 지식이 없으면 제일 비효율적인 방법이긴 하지만 input으로 많은 시간을 cost값으로 지불합니다. 그리고 이러한 지식을 남에게 전달해주거나 이해하였을 때 정말 큰 보람을 느낍니다.

사설이 길었는데요. 다시 본론으로 돌아오면 강화학습을 들으면 빠질 수 없는 분야는 Game AI분야 입니다. 가장 최근에 RL을 많이 적용하려는 분야가 국민 게임 스타크래프트입니다. 과연 이 AI가 사람의 명령없이 강화학습만으로 스타크래프트를 진행하거나 사람 게이머와 대결을 할 수 있을 것인가? 라는 주제에 대해서 많은 연구들이 이루어지는 것으로 알 고 있습니다.

들으면서 정말 제가 게임에 관심이 많은터라 시간가는 줄도 모르고 세션을 들었습니다. 물론 다른 세션들을 소홀히 들었다는 것은 아닙니다 ㅎㅎ 추후 저도 제 졸업 논문을 쓰고 시간이 허락한다는 전제, 가정하에 강화학습에 대한 연구 및 게임 AI 분야에 대해서도 한번 도전을 해보고 싶습니다.

그 다음 세션으로는 AI를 입문하시거나 연구하시는 분들은 모두 한번쯤 들어보셨거나 아실 (前) 고려대학교 컴퓨터학과 이자 (現) KAIST AI학과에 교수로 재직 중이신 주재걸 교수님의 session이 진행되었습니다. 주재걸 교수님은 거의 AI 필드에서 아이돌만큼이나 명성을 가지고 계시고 그만큼 public하게 대중에게 open된 강의도 많이 진행하신 분이기에 많은 분들에게 친숙하신 얼굴입니다. 저또한 주재걸 교수님의 선형대수 강의를 온라인으로 들은 적이 있었는데 저가 대학원 입학 준비를 하는데 있어 많은 도움이 됬습니다. 

주재걸 교수님의 Session에서 핵심 topic은 GAN입니다. 연구실 세미나에서도 GAN에 대한 내용을 잠시 접했던 경험이 있었는데 이번 세션을 통하여서 또 다른 시각을 바라볼 수 있었던 점이 인상적이였습니다. 그 다른 시각을 구체적으로 말씀드리자면 User's perspective 즉 사람, 사용자들의 관점에서 바라보는 점입니다. GAN 모델의 ouput 결과에 대해서 사람,유저들의 평가로 evaluation을 진행하여 정량적인 평가를 한다는 점이 신선하였습니다.

데이터를 기반으로 정량적인 평가 및 연구를 진행하는 점에 개인적으로 저를 Data science, AI분야로 이끌어준 motivation 중 하나여서 정말 흥미로운 세션이였습니다. 일단 주재걸 교수님은 주어진 2시간을 정말 시간 가시는 줄도 모르고 꽉꽉 알차게 채우셔서 세미나를 진행하셨습니다. 덕분에 이 세미나가 정말 값어치를 매길 수 없을 만큼의 참여 동기를 주었고, 또 한번 오프라인으로 참석하기 잘했다는 점을 시사해준 시간이기도 했습니다. 

또 한가지 놀라웠던 점 중 하나는 주재걸 교수님이 연구하신 colorization(채색)을 하는 연구가 저의 눈길을 끌었습니다.  위와 같은 연구가 우리가 일상생활에 흔히 접하는 활력소 같은 존재 웹툰 분야에서도 적용되는 점을 보고 한가지 생각이 주마등처럼 머리를 스치고 지나갔습니다.

어떤 생각이 들었을까요?ㅎㅎ 바로 Business 도메인적으로 profit을 낼 수 있다는 점과 웹툰 작가들이 겪는 고충 및 need를 충족시켜줄 수 있는 비즈니스 모델이라는 생각이 들었습니다. 이 인사이트를 보고 창업 아이디어가 떠오른 분은 커피 기프티콘을 쏴주시면 감사하겠습니다 ㅎㅎ. (농담입니다~)

주재걸 교수님의 세션또한 정말 빠르게 시간가는 줄 모르고 지나갔고 정말 위에서도 말했듯이 유료강의 못지 않은 고퀄리티의 세미나였습니다. Image captioning 분야에서도 GAN의 적용 사례를 한번 찾아보고 싶다는 생각이 들면서, 저의 TODO 리스트 책장의 한켠에 또 다른 퀘스트 쌓였습니다.

여름에 연구 주제 및 공부를 하는데 방황하던 저에게 오아시스의 샘물같은 기회를 제공해주신 서울대학교 컴퓨터 공학부 교수님들과 AI 여름학교 기획자 분들에게 감사드립니다!! 내년 2021년에도 AI Summer 스쿨이 열린다고 하는데 2020년 겨울이나 방학때도 열리면 좋을 것 같다는 생각이 듭니다.

P.S 그리고 현장 참석자가 일정시간이상 교육 이수 및 세션 참가를 하면 수료증을 부여해도 성취감 면에서 고무적일 것 같고, 또한 기념품을 수여받는 다는 느낌이 들 것 같습니다.

3일동안 정말 알찬 세션들을 통해서 저또한 성장한 점을 확인할 수 있었습니다. 그리고 연구나 brainstorming을 진행하는데 있어서 많은 insight가 있었습니다.

방학동안 항상 무언가 의미있는 스터디나 확실한 연구 주제를 정하는데 있어서 고민이 굉장히 많았습니다. 더불어 물리적인 시간이 많아지니 위에서 언급한 고민을 해결할 방안을 계속 모색하던 중이었습니다.

그러던 와중에 친구에게 서울대에서 AI 여름학교 프로그램 소식을 전해들었습니다. 우리가 즐겨보는 TV 프로그램이나 음악 패스티벌처럼 라인업이 정말 탄탄했고 연사 및 연구 세미나를 진행하는 커리큘럼 또한 양적으로나 질적으로 유료 세미나 및 학회 못지 않았습니다.

한편으론 이러한 연구, 교육 세미나를 무료로 제공한다는 점 살짝 놀라웠습니다.  

온라인으로도 동시에 생방송을 송출한다는 소식을 접하였지만, 오프라인에 무슨 일이 있어도 참석하기 위해서 참가해야 하는 이유를 그래도 고민을 하면서 한땀한땀 적었습니다.

그리고 온라인으로 듣게되면 아무래도 집중과 지식을 얻는 효율성 측면에서 많이 떨어지고, 논문의 초록들과 연구 내용들을 skimming 하면서 궁금한 점들이 산더미 같았습니다. 그리고 다른 motivation은 정말 개인적인 이유지만.. 사실 영상 강의로만 뵙고 저의 딥러닝 공부에 있어서 동기부여 및 시작점이신 교수님들의 얼굴을 직접뵈면서 세미나를 청취하고 싶었습니다.

딥러닝을 KMooc 온라인 교육 플랫폼을 통하여서 공부를 입문하였고, 그 중에서도 김건희 교수님의 '인공지능 기초' 과목을 들으면서 흥미를 높였고, 계속 이어서 이영기 교수님, 송현오 교수님, 강유 교수님의 강의들을 차례로 들어가면서 딥러닝과 데이터 마이닝 관련 공부를 점진적으로 진행해 나갔습니다.

결국에는 딥러닝에 대한 연구를 조금 더 심층있게 하고 싶어서, 대학원 진학에 motivation이 된 것은 김건희 교수님의 수업 덕분이였습니다. 또한 이전에 관심이 있었던 자연어처리 분야를 연구 및 공부를 하면서 CNN으로 text classification을 하는 task에 있어서 Yoon Kim 박사님의 논문을 인상깊게 읽어서 이번 서울대 AI Summer School 을 꼭 들어야 했습니다.

먼저 1일차(08/10/20)는 개인사정으로 인해서 온라인으로 세미나를 청취하였고, 2일차(08/11/20)인 오늘은 오전 session은 온라인으로 듣고 오후에 진행되는 황승원 교수님의 "Neural Language Models with Knowledge injection" 논문과 NLP 연구에 대한 세미나를 들었습니다. 이전에 고려대학교 강필성 교수님의 자연어 처리 관련 수업을 들은 덕분에 이해를 하는데 있어서 큰 어려움은 없었습니다. 물론 황승원 교수님이 쉽고 직관적으로 이야기를 풀어나가셔서 정말 흥미롭게 세미나를 청취하였습니다.

세미나를 들으면서 느꼈던 점은 제가 대학원생 연구자로써 고민했던 문제들이 교수님들의 연사를 들으면서 많은 부분 해결되었습니다. 자연어 처리에서의 Challenges, 문제점들에 대해서 예를 들어서 설명하시고 황승원 교수님이 바라보시는 시각또한 들으니 다른 관점에서도 생각할 수 있는 Insight를 주셨습니다.

황승원 교수님 세션 중 놀라웠던 점 중 하나는 Database(SQL)과 NLP의 연구를 같이 접목시켜서 시너지를 낼 수 있다는 점이 상당히 고무적이였습니다. 저가 여태까지 생각한 SQL은 웹서비스를 개발하는 관점에서 DB에서 서비스를 만들때 Query문을 날려서 필요한 정보를 가져오는 정도로만 여태까지 생각하고 있었습니다. 하지만 오늘 세미나를 통해서 Database와 NLP를 접목시키는 연구들 또한 관심이 생겨서 추후 논문 및 정보를 찾아보려고 합니다.

황승원 교수님이 던지셨던 질문 중에 굉장히 인상깊었던 것이 있었는데 "엄격한 level의 language modeling이 필요한가?"였습니다. 최근 pretrained model들이 자연어 처리에서 각광을 받기 시작하면서 NLU(자연어 이해)task에서 과연 BERT, GPT-3등이 자연어를 완벽하게 이해하는가에 대해서 의문, 의심이 생겼습니다. 황승원 교수님은 이러한 language model들이 얍삽하게 외워서 performance를 낸다는 다소 재밌는 의견또한 공유해 주셨습니다.

아 그리고 위에다가 정리는 하지 않았지만 제가 인상깊게 공부하였던 Yoon Kim 박사님의 온라인 세션은 모두 영어로 진행되었습니다. Yoon Kim 박사님의 영어실력은 거의 원어민(native tongue)과 다를 바가 없어서 부가적인 영어 listening 공부또한 같이 하였습니다. 추후에 Yoon Kim 박사님의 세션은 더 부가적으로 제가 공부한 내용과 같이 기록, 포스팅을 남길 예정입니다.

컴퓨터 공학부 연구 발표를 들으면서 송현오 교수님은 수학적으로 수식을 증명하시면서 설명하시는 점이 인상깊었고, 김건희 교수님은 제가 오늘 처음 들어본 continual learning 분야에 대해서 진행하신 연구를 통해 설명해주는 점이 인상 깊었습니다. 그리고 유튜브를 보면서 항상 자율주행의 원리와 연구에 대해서 궁금하였는데 이러한 지적 호기심을 해결해주신 이창건 교수님의 session 또한 정말 알찼습니다. 마지막으로 이영기 교수님의 모바일의 관점에서 진행한 딥러닝 연구는 제가 Kmooc에서 들은 강의에 지식을 더 업그레이드하는 경험을 할 수 있었습니다.

여름에 연구 주제 및 공부를 하는데 방황하던 저에게 오아시스의 샘물같은 기회를 제공해주신 서울대학교 컴퓨터 공학부 교수님들과 AI 여름학교 기획자 분들에게 감사드립니다!! 추후에도 이러한 세미나 및 session을 참관할 수 있는 기회가 주어졌으면 좋겠습니다.

오늘도 들었던 내용들을 정리하면서 내일의 세미나도 기대가 됩니다!