(작성 중...)[JIS] Deep Learning for Image Segmentation

[JIS] Journal Introduction Summary: Deep Learning for Image Segmentation

 

[Since 2020]

1. Zhou, Man, et al. "Deep fourier up-sampling." arXiv preprint arXiv:2210.05171 (2022).

 

2. (Swin-UNet) Cao, Hu, et al. "Swin-unet: Unet-like pure transformer for medical image segmentation." European conference on computer vision. Cham: Springer Nature Switzerland, 2022.

 

2. (Swin UNETR) Hatamizadeh, Ali, et al. "Swin unetr: Swin transformers for semantic segmentation of brain tumors in mri images." International MICCAI Brainlesion Workshop. Cham: Springer International Publishing, 2021.

 

3. (nnU-Net) Isensee, Fabian, et al. "nnU-Net: a self-configuring method for deep learning-based biomedical image segmentation." Nature methods 18.2 (2021): 203-211.

 

[Since 2015]

4. (U-Net++) Zhou, Zongwei, et al. "Unet++: Redesigning skip connections to exploit multiscale features in image segmentation." IEEE transactions on medical imaging 39.6 (2019): 1856-1867.

 

5. (Attention U-Net) Oktay, Ozan, et al. "Attention u-net: Learning where to look for the pancreas." arXiv preprint arXiv:1804.03999 (2018).

 

6. (Deeplab-v3) Chen, Liang-Chieh, et al. "Rethinking atrous convolution for semantic image segmentation." arXiv preprint arXiv:1706.05587 (2017).

 

7. (Deeplab) Chen, Liang-Chieh, et al. "Deeplab: Semantic image segmentation with deep convolutional nets, atrous convolution, and fully connected crfs." IEEE transactions on pattern analysis and machine intelligence 40.4 (2017): 834-848.

 

8. (U-Net) Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18. Springer International Publishing, 2015.

• 의생명 영상처리처럼, 컴퓨터 비전 기술이 주로 사용되는 분야에서는 Localization(영상 내 특정 영역을 검출하거나 분할하는 것을 의미)이 매우 중요한데, 이러한 Localization은 영상의 각 픽셀 별로 클래스 레이블(class label)을 매기는 작업으로도 해석할 수 있다.
• 저자들은 FCN (Long et al., 2014) 모델의 구조를 확장하였으며, 핵심 아이디어는 FCN의 CNN encoder 파트인 contracting path는 성공적으로 잘 작동하기에, decoder 파트(extracting path)에서 upsampling layer와 두 path(contracting & extracting)를 연결하는 skip connection 구조를 추가한 것이다.
• 이 새로운 모델의 형태는 U 형태로 생겼기에 "U-net"이라고 명명했으며, 이 모델로 현미경 영상들을 학습하여 세포의 위치를 검출하는 ISBI cell tracking challenge 2015에서 1위로 우승하였다.

# Journal Review: https://pulsar-kkaturi.tistory.com/entry/Ronneberger-et-al-2015-U-Net-Convolutional-Networks-for-Biomedical-Image-Segmentation

[U-Net] Ronneberger et al., 2015, U-Net: Convolutional Networks for Biomedical Image Segmentation.

 

9. (FCN) Long, Jonathan, Evan Shelhamer, and Trevor Darrell. "Fully convolutional networks for semantic segmentation." Proceedings of the IEEE conference on computer vision and pattern recognition. 2015.

• 저자들은 fully convolutional network (FCN)을 end-to-end, pixels-to-pixels로 학습시킴으로서 semantic segmentation 성능을 기존의 기계학습(머신러닝; 예. 전처리 또는 후처리와 결합, superpixels 포함, random field or classifier를 통한 사후 개선) 기반의 방법들보다 우수한 SOTA(state-of-the-art) 성능을 달성할 수 있었다.
• FCN은 최근 classification에서 성공한 모델(AlexNet, VGG, GoogLeNet 등)들의 모든 convolution layers 또는 fine-tuning을 통해 학습된 표현들을 transfer learning 기법으로 사용함으로서, 매우 정밀한 segmentation prediction을 가능하게 했다.
• 저자들은 semantic segmentation 성능을 더 올리기 위해서, 깊고 대략적인 영상의 추상적인 정보와 얕고 섬세한 영상의 지엽적인 정보 모두 결합하여 사용하기 위하여 skip-architecture를 사용하여 실험한 결과 좀더 높은 성능을 달성할 수 있었다(후에 U-Net에서 핵심적인 구조로서 사용된다).

# Journal Review: https://pulsar-kkaturi.tistory.com/entry/FCN-Long-et-al-2015-Fully-Convolutional-Networks-for-Semantic-Segmentation

[FCN] Long et al., 2015, Fully Convolutional Networks for Semantic Segmentation