기본 콘텐츠로 건너뛰기

공부 링크 모음

즐겨찾기 저장에 한계가 도달하였다.
나름대로 폴더로 구분한다고 구분을 해보았지만 폴더가 너무 많고 그리고 폴더안에 있는 즐찾의 개수도 너무 많아져서 더이상 관리가 힘들어졌다.
앞으로 이렇게 따로 요약을 해서 관리를 해야겠다.

1. RBM, 오토인코더 쉬운 설명
http://www.whydsp.org/283#comment7131899

2. GAN 설명 강의자료
https://www.slideshare.net/ssuser77ee21/generative-adversarial-networks-70896091?from_action=save

댓글

댓글 쓰기

이 블로그의 인기 게시물

[논문 리뷰] Rethinking ImageNet Pre-training (002)

지난 포스팅 에 이어서 기술된 포스팅 이다. 3. Methodology  이분들의 목표는 다시한번 또 말하지만 ImageNet의 pre-training 무용을 보여주고 싶은 것이다!! 테크니컬 리포트 성격이 강한 논문이기에 구조적 개선에 대한 내용보단 pre-training에 대한 분석적인 관점을 가지고 논문을 보면 좋겠다. 특히 지난번 포스팅에서 언급했듯이 다시한번 두가지 관점에서 해당 섹션에 대해 설명한다.  Model Normalization    Training Length          3.1 Normalization  이미지 분류기 학습은 좀 더 능률적인 최적화를 위해 normalization 기법들을 필요로 한다. Normalization의 성공적인 사례는 여기선 두가지로 보는데 normalized parameter init와 activation normalization layers이다. 어쨋든 이건 이렇다 치고 이미지분류 이외에도 디텍터를 학습할때도 저런 normalization안쓰면 학습은 어렵다고 말한다. (맞음ㅇㅇ)  대표적으론 Batch Normalization (BN) 이 있긴하다. 근데 디텍션에서는 주로 고해상도 영상을 다루고 이에 따라 한정된 메모리자원에서는 배치사이즈를 조금 줄여서 쓸 수밖에 없다. 이런식으로 배치사이즈를 줄여버리면 BN의 성능이 후져진다. 이러한 이슈는 만일 우리가 pre-training을 한다면 fixed param으로 해결해 버릴 수가 있지만, 초장부터 학습하는 본 연구에서는 이러한 방법은 전제자체가 잘못되었다. 그래서 이친구들이 대체로 생각한 두가지 normalization 기법을 소개한다. (1) Group Normalization (GN) : 배치의 차원과는 독립적인 연산을 함. 배치크기와 아무 상관 없음. (2) Synchronized Bat...
댓글 쓰기
자세한 내용 보기

[논문 리뷰] Rethinking ImageNet Pre-training (001)

본 논문은 Arxiv에서 현재 (18.11.23 기준) 트위터 멘션이 가장 많이 된 논문이다. ( 논문 링크 ) 트위터 언급 1등! 저자들은 무려 ResNet을 제안한 Kaiming He와 내가 신봉하는 연구자인 RCNN의 발명가 Ross 형님이시다. 딥 네트워크를 깊이 연구한 Kaiming He와 Object Detection을 깊이 연구한 Ross Girshick의 콜라보 답게 많은 실험들이 기존의 네트워크 학습이 detection에서 어떻게 해석되는지 요런느낌으로 논문을 쭉쭉 써내려 나갔다. 포맷을 보면 너무도 당연스럽게 CVPR 2019에 제출된 논문임을 알 것같다. 아마도 억셉된다면 적어도 spotlight이상은 가지 않을까... (패러다임의 변화를 제안한 논문!) 여하튼 인상적인 논문 제목이다. 이미지넷의 pre-training에 대해서 다시 생각해보자...주제 자체가 크지 않은가! 일반적으로 CV분야에서 pre-training을 한다면 그것은 ImageNet을 사용하는 작업이 거의 대부분일텐데 기존의 패러다임에 대해 다시 생각해보자라는 본 논문은 매우 충격적이지 않을 수 없다. 찬찬히 abstract부터 보겠다. Abstract  요 논문은 COCO 디비의 물체 검출과 instance segmentation에서 Random initialization으로 학습한 모델이 꽤나 경쟁력있는 결과를 낸걸 보고한다. 학습횟수를 늘리는거 빼고는 기존의 ImageNet으로부터 pre-training한거나 random으로 초기화해서 한거나 다 같은 수준으로 수렴할 수 있다. Random Initialization에서 학습한게 예상외로 강력한 것이 본 논문에서 (1)  학습 데이터의 10%만 사용 (2) 더 깊고 넓은 (deeper and wider) 모델 (3) 다양한 task, metric에서도 이런 경우에도 유지된다는 것이다. 실험은 COCO 2017셋에서 이미지넷으로 pre-training된 모...
댓글 쓰기
자세한 내용 보기