지난 포스팅에 이어서 기술된 포스팅이다. 5. Results and Analysis 5.2 Training from scratch with less data 자 얘내들이 이번엔 두 번째 발견을 하셨다는데...이게 논문에 신기하다고 쓰여있는데 이거 진짜 신기하다. (기존의 통념이 날라가는 것만 같은....) 이번엔 원래 가지고 있는 학습 데이터도 조금만 학습해보고 그렇게 나온 결과들을 기술한다. 우리가 기존에 가지고 있는 통념이라면 Deep Network를 학습하려면 아무래도 Vanishing gradient가 발생하여 똑바로 학습이 안되고 이를 해결하기 위해 다양한 기법들이 있지만 가장 단순한 해결책으로 데이터를 무진장 많이 확보하여 학습하자가 가장 대표적인 방법이다. 이러면 Overfitting도 좀 억제되고 feature representation 자체가 좀 더 rich해진다랄까? 뭐 그렇게 되겠지가 있는데... 앞으로 나올 실험결과들은 좀 이러한 생각들을 많이 깨부셔주는 결과를 보여준다. <35k COCO training images.> 일단 기존의 COCO의 트레이닝 셋에서 약 1/3정도인 35,000장만 써서 학습을 해본 결과를 기술한다. 근데 그렇다고 원래의 Hyper-parameters를 사용해서 좋은 결과를 얻는 것은 아니다. 기존의 hyper-parameter를 적용하면 위 그림과 같이 Overfitting이 발생하게 된다. 그리고 심지어 저 결과는 ImageNet pre-training이 되었음에도 저런 현상이 일어난다. 오? 드디어 이 논문이 주장하는 내용과의 첫 번째 반례이구나!! 싶은데...이게 꼭 그렇게 봐서는 안된다. 우리가 가지고 있던 생각이 Overfitting을 피하려면 데이터를 무쟈게 많이 확보하자가 가장 단순한 아이디어인데 저 위의 결과는 ImageNet이란 지구상에서 공개된 것중 가장 방대한 데...
지난 포스팅 에 이어 기술된 포스팅이다. 4. Experimental Settings 이분들의 연구에서는 최소의 변화만을 추구한다. 베이스라인이야 Mask R-CNN을 기반으로 하고, 다만 normalization과 학습횟수는 변화가 좀 있다. (이건 뭐 당연하지...normalization을 다른거 쓰겠다 했고 학습빈도야 이게 이 논문 키포인트니) 그리고 크게 3가지로 나누어서 실험세팅에 대해 설명을 한다. 먼저 구조! ResNet과 FPN(Feature Pyramid Network) 기반의 Mask R-CNN 쓰신다. 그리고 BatchNorm (BN)말고 GroupNorm(GN)과 SyncBN을 사용한다. 공정한 비교를 위해 fine-tuned모델도 BN말고 GN/SyncBN으로 튜닝했다. 두 번째 러닝레이트 설계! 기존의 Mask R-CNN은 9만번이나 18만번 정도 튜닝을 한다. 근데 이건 튜닝할때나 그렇고 본 연구처럼 첨부터 학습하는 건 더 많이 학습시켜야지 않겠는가. 그래서 무려 54만번의 학습을 감행한다 (논문에서는 9만번 학습을 '1X schedule' 이라 하니 54만번의 학습은 '6X schedule' 이다.). 그리고 원래처럼 6만번 남았을때 0.1배 러닝레이트를 줄이고 2만번 남았을 때 또 러닝레이트를 0.1배를 가한다. 마지막으로 Hyper-parameters! 이놈은 Detectron의 설정을 싹다 차용한다. 특히 초기 러닝레이트는 0.02이고 weight decay는 0.0001에 모멘텀은 0.9 쓰고...... 그냥 다 비슷비슷하니 이건 넘기겠다. 5. Results and Analysis 5.1 Training from scratch to match accuracy 이분들의 가장 맨 먼저 본 놀라운 발견은 COCO만 사용해서 모델을 첨부터 학습하는게 튜닝해서 학습하는 모델의 정확도를 결국 따라잡는 다는 것이다.!! (...