[논문 스터디] 2023.09.15 첫 날 후기

<발표 논문>

1. LeNet

2. AlexNet

3. Transformer (<- 내가 발표 ㅋㅋ)

4. InternImage

 

새롭게 알게 된 점

- Sub-sampling (Pooling)이 단순히 parmeter 수를 줄여주고, global feature를 학습하는데 도움을 준다고만 알고 있었다. 근데 LeNet 논문에서 말하길, feature 위치에 대한 정확도를 감소시키는 가장 간단한 방법이 해상도를 낮추는 것이라고 한다. 그래서 sub-sampling을 활용하면 뭔가 feature의 위치라던가 하는 부가적인 정보는 날리고 핵심적인 feature만 학습할 수 있도록 하는데 도와주는 듯. 그래서 global feature를 학습하는데 도움을 주는 것이 아닐까 싶다. 

 

- 석사 때 그냥 산학 과제 문제 해결에만 집중하느라 최신 논문들 트래킹을 거의 못했었다. (좀 할 걸 ㅋ) 뭔가 "아 요새 대세는 transformer이구나" 정도로만 알고 있었는데, 최근엔 transformer 성능을 넘는 large-scale CNN 연구가 진행되고 있다는 점을 알았다. 

 

 

느낀 점

- LeNet이나 AlexNet은 그냥 computer vision 관련 강의를 들었을 때, 잠깐 등장해서 "초기 CNN은 이런 모습이다~" 정도로만 이해하고 넘어갔던 기법들인데, 발표해 주셔서 좀 더 세세하게 설명들을 수 있어서 좋았다.

 

- ViT가 잘 나오는 이유 (Long range dependence, Adaptive spatial aggregation, Advanced component)를 분석하고, 이를 CNN으로도 (Deformable conv ver3) 구현 & 해결하려고 시도해 본 점이 좋은듯하다. 

 

- 그전에 Transformer 논문 읽었을 때 뭔가 와닿지 않았던 부분은 그냥 대충 넘어갔었는데, 발표를 맡았으니 그렇게 하면 안 되겠더라. 그래서 이해가 잘 가지 않았던 부분을 코드로도 찾아보면서 이해하고 설명하고 노력했다. Transformer에 대한 이해도가 전보다 많이 올라갔다. 

 

- 석사 때는 산학 과제 한다고, 관련 논문만 읽느라~ 졸업하고 나서는 쉬고 취준 한다고 논문 읽는 것을 소홀히 했었는데, 논문 스터디 하면서 많은 것들 보고 듣고 배워야겠다