점점 미쳐가는 개발 일기

리뷰 시작 전 Continual Learning은 모델이 새로운 정보를 학습하면서 이전에 배운 정보를 유지할 수 있도록 하는 학습 방식을 말한다. 이같은 학습 방식은 AI의 다양한 분야와 모델에 걸쳐 중요한 개념으로, 대규모 언어 모델을 포함한 여러 유형의 시스템에서 적용될 수 있다. Continual learning 방법에서 기존의 지식을 유지하며 새로운 정보를 학습할 때 가장 중요한 이슈는 "Catastrophic Forgetting" 문제를 방지하는 것인데, 이 문제를 해결하기 위해 다양한 학습 시나리오를 고려하는 것이 필요하다. 리뷰할 논문에는 catastophic forgetting 문제를 방지하고 continual learning을 효과적으로 학습하게 할 방법론들이 다양하게 나열되어 있으며, ..