이번 방학 또한 작년과 동일하게 서울대학교 AI 연구원에서 주최하는 AI Summer School의 세미나 및 튜토리얼을 수강하였습니다.
작년과 금년 2021년 AI Summer School 한 가지 다른 점이 있다면 이번 여름은 모든 연사님들이 Youtube 및 Zoom으로 실시간 송출하는 방식으로 진행되었습니다. 현재 코로나 사태로 인해서 오프라인으로 참석하지 못하는 점이 조금 아쉬웠지만 실시간 온라인으로 진행을 하여도 연사님들의 열정 및 intuition이 대단하신 것을 느낄 수 있었습니다. 그리고 작년에 발표자로 참여해주신 황승원 교수님께서 사회를 봐주셔서 반갑기도 하였습니다.
개인적으로 작년에는 머신러닝, 딥러닝을 처음 접하면서 스터디나 확실한 연구주제(or keyword)등 초심자로써 방향을 잡는데 많은 어려움을 겪었습니다. 개인적으로 매일매일 유튜브에서 먼저 Sung Kim 교수님의 모두의 딥러닝과 Andrew NG 교수님의 Coursera라 강의로 한글, 영어강의를 들으면서 기초를 많이 닦았습니다.
그 후에는 AI Summer School 2020를 오프라인으로 청취하였습니다. 물론 모든 내용들을 다 알아들었던 것은 아니지만, 들으면서 내용을 미리 찾아보고 듣는 도중 필기하여 궁금증이 안풀리는 부분들은 연사님들께 질문을 하여 insight 및 답변들을 들을 수 있었습니다.
첫째 날(08/09/21)에는 Google brain에 재직 중이신 김빈 박사님의 발표로 시작되었습니다. 발표의 주된 topic 및 keyword는 interpretability였습니다. 최근에 제가 연구 중인 XAI 분야의 논문 및 코드 구현을 통해 intrepretability에 관하여 많은 시간을 할애하는터라 나누어주신 발표는 제게 많은 도움이 되었습니다. 조금 더 정확하게 말하자면 이미지 데이터에 Layerwise relevance prorogation을 적용하며 어떻게 interpretability를 represent할 것인지에 대한 아이디어가 떠올랐습니다. 그리고 CaCE발표를 들으면서 causality에 대하여 들으면서 이쪽 분야에 대한 논문 및 공부자료도 참고해볼 예정입니다. 연사님께서 영어를 엄청 잘하셔서 교포인줄 알았는데 한글로도 답을 잘해주셔서 놀라웠습니다.
그리고 inductive bias에 대해서도 다시 쉽게 설명해주셔서 고려대학교 강필성 교수님 수업에서 들었던 내용을 다시 상기 및 내용을 다시 한번 생각해볼 수 있어서 좋았습니다.
2번째 session에서는 김승연 박사님께서 distillation을 statistical하게 접근하여 설명을 해주셨습니다. 해당된 접근법은 저에게 다소 새로워서 필기를 하며 제가 궁금했던 부분은 적어서 추후 검색 및 논문을 참조하여 복습을 할 예정입니다. 그리고 "Distilling from imperfect teacher"를 증명하는 부분이 흥미로웠는데 수식에 대한 설명과 왜 그렇게 진행되는지에 대한 why를 자세히 설명해주셔서 제가 몰랐던 새로운 지식또한 얻어갈 수 있었습니다.
그리고 오전세션에서 황승원 교수님이 reinforcement learning에 관하여 견해 및 insight있는 질문을 공유해 주셨습니다.
저번 년도에도 연사로 참여해주신 송현오 교수님이 data augmentation과 mixup에 대하여 연구 및 결과를 공유해주셨습니다. 이전에 제가 주로 생각해보지 않은 이론적인 부분을 정말 상세하게 설명을 해주셔서 이전에 image data augmentation인 mixup에서 궁금했던 부분을 해결할 수 있었습니다. 또한 그리고 이러한 data augmentation을 진행하는데 있어서 OR적인 부분을 응용하여 main objective를 통하여 objective function을 통하여 증명을 해주신 것이 친근하였습니다. 이전에 제가 OR수강을 한 것이 도움이 되지 않았나 싶습니다. 그리고 summary를 wrap up하시면서 연구 및 실험을 다시 친절하게 정리 해주셔서 감사했습니다.
마지막으로는 이제희 교수님이 "How to Train Your Virtual Dragon via Deep Learning"이란 주제로 세미나를 진행해주셨습니다. 보행시뮬레이션을 통하여 실험을 진행하며 이에 대한 장단점을 의료분야를 통하여 설명을 해주셨습니다. 이러한 예들은 실제 상황에서도 적용될 수 있는 유용한 연구로써 사회 및 의료 분야에도 많은 부분을 기여할 수 있다고 생각이 들었습니다. 이러한 보행 시뮬레이션은 환자의 재활 및 스포츠 분야에서도 적용될 수 있다는 생각이 들었습니다.
이번 년도 작년과 다름없이 무료로 양질과 열정이 담긴 연구 세미나를 개최 해주셔서 감사합니다. 2020년보다 더 많이 공부한 상태에서 청취하였지만 금년에도 다른 테마의 강의 및 Q&A 진행방식을 통하여 다른 분들의 답변 및 질문에서도 많은 insight를 얻을 수 있어서 매우 유익하였습니다.
오늘도 들었던 내용들을 정리하면서 내일의 세미나도 기대가 됩니다!