# 세줄 요약 #
- 자동형광(auto-fluorescence)은 형광현미경(fluorescence microscopy) 영상에서 목표한 대상 물체를 관측하는데 장애물이 되는 아티팩트(artifact)를 만들어내기에, 저자들은 "upU-net"이라 명명한 U-net의 수정 모델을 가지고 딥러닝을 통해 이렇게 배경에서 방출된 아티팩트를 fluorescence confocal microscopy images에서 제거하는 연구를 수행하였다.
- upU-net을 학습하고 테스트하기 위하여 psf(point spread function)와 Perlin noise를 사용하여 실제 형광 현미경 영상과 거의 유사한 영상들을 만들어 실험을 하였고, 그 결과 배경이 제거되는 것은 물론이고 신경망이 영상을 재구축하면서 Guassian & Poisson noise도 제거하며 이전보다 더 smooth한 영상을 출력하는 등, 놀라운 성능을 보여주었다.
- 마지막으로 실제 형관현미경 영상에도 upU-net을 적용해본 결과, 두가지 핵심 증거를 입증하였다: 1) Perlin noise는 실제 배경 형광 노이즈와 매우 유사해서 시뮬레이션 영상에 사용하는데 문제가 없으며, 2) 따라서 upU-net은 실제 형광 현미경 영상에서 자동 형광으로 인한 배경과 여러 노이즈들을 제거하는데 탁월하다.
# 상세 리뷰 #
1. Introduction
- 형광현미경 영상은 수학적 모델로 표현하면 다음과 같은 선형 모델로 표현할 수 있다. -> gn = P(Hx + b) + n [gn: 현미경에서 관측된 영상, x: 깨끗한 원본 영상, H: blurring 선형 연산자 (diffraction limit에 의해 PSF를 만드는 역할), n: 가우시안(gaussian) 통계에서 나오는 read noise (광학 영상에서 완벽히 zero인 배경은 존재하지 않는다), b: 임의의 구조를 가진 배경 형광 (ex. auto-fluorescence), P: poisson noise]
- 위의 형광 현미경 영상의 수학적 모델을 보면 통계적으로 나올 수 밖에 없는 gaussian noise (read-noise), poisson noise를 제외하고도 auto-fluorescence 등에 의해 임의의 구조를 가진 배경 형광도 존재하는데, 이는 관찰하는 생체의 구조나 cell texture에 따라 생성되므로 Perlin noise로 시뮬레이션 가능하다. (논문 [1]과 리뷰 논문의 figure 1을 보면 실제 형광현미경 영상의 배경 형광과 Perlin noise로 만든 합성 영상의 배경 형광이 거의 유사함을 확인할 수 있다.)
- 그리고 이러한 배경 형광은 단순히 노이즈가 아니라 특정 형태를 가지므로, 일반적인 denoising에 사용되는 알고리즘보다는 특정 형태를 예측하는데 탁월한 성능을 보인 U-Net 모델에 기반한 신경망 모델을 사용하여 배경 형광을 예측해야할 것이다. (U-Net 논문 [2] 참고!)
2. Model & Data
- 배경형광을 예측하기 위한 딥러닝 모델로는 Segmentation에서 강력한 성능을 보이는 전통적인 U-Net을 쓰면서 한가지 변화를 주었는데, 그것은 바로 일반적으로 같은 크기에서 이어지는 skip-connection이 아니라 contracting path에서 up-convolution을 통해 feature map을 확대시킨 후에 skip-connection을 통해 extracting path로 합쳐준 것이다.
- 이렇게 up-convolution을 활용해 skip-connection으로 보낸 이유는, 정확한 형태 기반으로 마스크를 찾는 일반적인 segmentation이 아니라 배경형광은 불규칙하고 연속적인(randomly continous) 형태를 가지기에 up-convolution하면 smoothing 효과가 추가되어 배경을 좀더 깔끔하게 예측할 것으로 기대한 것이다. (따라서 이름도 upU-Net이다!)
- 학습을 위한 합성 데이터 생성은 Introduction에서 소개했듯이, 먼저 3D 영역 상에서 Particle을 균등 분포(Uniform distribution)로 랜덤하게 배치한 후에 z축에서 한 슬라이스를 골라 다양한 circular profile을 얻은 후에 Perlin Noise(Octave 값으로는 8 사용)로 배경형광을 더하고, 마지막으로 blurring을 통해 Gaussain PSF를 만들고 real fluorescence image에 가깝게 statistical noise pertubation(Gaussian & Poisson noise)도 추가하였다.
3. Results
- 먼저 76 x 76 x 5 um(micrometer)의 볼륨에서 뽑아낸 128x128 크기의 합성데이터 영상을 500장 정도 사용하여, 1) upU-Net에서 학습한 결과 배경이 조금더 smoothing 되긴 하지만 잘 빠진 것을 확인할 수 있었고, 2) classical U-Net에서는 학습 결과 배경이 잘 빠지긴 했지만 종종 artifact가 생기는 경우가 발생하였으며, 3) 마지막으로 upU-Net을 사용하되 결과 영상을 256 x 256 크기로 inference한 결과 바뀐 해상도에 맞춰 particle들이 재구현되는 것도 확인하였다.
- 다음으로 배경형광을 제거하기 전 후의 입자의 위치변화를 정량적으로 검증하기 위해, 먼저 128, 256, 512 사이즈의 합성데이터를 100개씩 만들고, 각각에 대해 "TPR" (True Positive Rate = TP/(TP+FN); 실제 입자 중에서 측정된 입자의 비율)과 "false particle rate" (각 프레임 별 false particle의 평균 개수)를 계산한 결과, 영상 크기에 관계없이 모두 90% 이상의 "TPR"을 가지고 "false particle rate" 또한 1개 이하인 것을 확인 하였다.
- 마지막으로 real dataset(aZeiss LSM 700 with 100 x NA 1.4 oil immersion, 64 x 64 x 4.1 um(micrometer)의 볼륨)을 사용하여, 512 x 512 크기의 microscopy image 10 장에서 학습된 모델을 실험해본 결과, 실제 현미경 영상에서도 배경 형광이 잘 빠지는 것을 확인하였다.
* Reference: Benfenati, Alessandro. "upU-Net Approaches for Background Emission Removal in Fluorescence Microscopy." Journal of Imaging 8.5 (2022): 142.
- [1] Möckl, Leonhard, et al. "Accurate and rapid background estimation in single-molecule localization microscopy using the deep neural network BGnet." Proceedings of the National Academy of Sciences 117.1 (2020): 60-67.
- [2] Ronneberger, Olaf, Philipp Fischer, and Thomas Brox. "U-net: Convolutional networks for biomedical image segmentation." Medical Image Computing and Computer-Assisted Intervention–MICCAI 2015: 18th International Conference, Munich, Germany, October 5-9, 2015, Proceedings, Part III 18. Springer International Publishing, 2015.
댓글