[Review] Belthangady & Royer, 2019, Applications, promises, and pitfalls of deep learning for fluorescence image reconstruction.

# 세줄 요약 #

1. 딥러닝은 형광현미경법(fluorescence miroscopy)에서 영상 재구현(image reconstruction)을 하는데 중요한 툴이 되고 있다.
2. 저자들은 영상 재구현과 초고해상도 이미징(super-resolution imaging)에서 가장 최신 기술의 적용 사례들을 리뷰하고, 가장 최근의 딥러닝 연구들이 영상 재구현 연구에 어떻게 적용되고 있는지 논의하고자 한다.
3. 저자들은 학습데이터 수집, 영상에서 보이지 않는 구조의 재현 가능성, 재구현된 이미지의 위험성 등의 딥러닝을 사용할 때의 핵심 이슈들에 대해서도 논의하고 있다.

 

# 상세 리뷰 #

1. 서론

• 형광현미경법(Fluorescence microscopy)은 생물학자들에게 있어 생물을 분자단위에서 생체구조와 작동 방식을 연구할 수 있는 중요한 툴이 되었다.
  • 최근에 개발된 초고해상도 형광현미경법(super-resolution microscopy)들은 영리한 설계 및 실험을 통해 연구자들에게 광학, 광자학, 센서 기술들로부터 오는 한계를 넘을 수 있게 해주었다.
  • 예) PALM (photo-activated localization microscopy) & STORM (stochastic optical reconstruction microscopy) ㅡ-> 두 기술 모두 초고해상도 이미지를 얻기 위해 수백장의 이미지를 필요로 한다.
• 최근에 깊은 합성곱신경망(deep convolutional neural networks)을 기반으로한 딥러닝 기술은 영상 및 음성 인식 분야에서 인간도 어려운 문제들을 푸는 놀라운 성능을 보여주었다.
  • 2012년, Krizhevsky, Sutskever, Hinton 등의 학자들은 이제는 AlexNet으로 불리게 된 유명한 합성곱 신경망 모델을 사용하여 이미지넷 영상 인식 대회(ImageNet Large-scale Visual Recognition Challenge; ILSVRC)에서 최초로 놀라운 성적을 보였다.
  • 2012년에 이후로 깊은 합성곱 신경망은 계속 기록을 세워나가서, 15.4%의 에러를 가진 AlexNet의 성능을 넘어 2018년이 되자 Inception-v4 모델이 3.08%의 에러를 달성하면서 인간의 정확도를 인공지능이 뛰어넘게 된다.
• 깊은 신경망(deep neural network)를 활용한 딥러닝 기술은 광학에 대한 깊은 이해와 정밀한 노이즈(noise) 제거가 필요한 전통적인 영상 재구현 기법들과 달리 원본 영상과 재구현(노이즈 제거, 화질 개선)된 영상들을 end-to-end로 학습만 시킴으로서, 기존의 방법들보다 훨씬 우수한 성능을 보일 수 있었다.

 

2. 딥러닝이 적용된 형광현미경법 영상 재구현 연구 사례

• Image denoising: 형광현미경 이미지의 노이즈(noise)는 전형적인 몇가지 요인들이 결합되어 생기는데, 그 요인에는 광자들이 모일 때 생기는 포아송 노이즈(Poisson noise)와 센서에서 생기는 thermal noise나 readout noise, 그리고 배경에서 관찰되는 자연형광(autofluorescence) 등이 있다.
  • 그동안 컴퓨터 비전(computer vision) 연구를 통해 sparse coding techniques, low-rank decomposition, image self-similarity 같은 denoising 알고리즘들이 존재하지만, 합성곱 신경망 (CNN)이 denoising의 새로운 툴로서 제안되고 있다.
  • Weigert et al. (2018) [1] 논문에서는 content-aware image restoration (CARE)라는 low SNR 형광현미경 영상을 입력으로, high SNR 형광현미경 영상을 출력으로 하여 학습된 신경망 모델을 소개하였으며, 영상에서 노이즈를 제거하는데 상당히 높은 성능을 보여주었다. (Fig. 1a)
  • 그러나 이러한 영상 노이즈 제거에 딥러닝을 적용하는데 있어, 충분한 수의 low-noise & high noise 영상을 학습 데이터로 모으는 것은 여전히 연구에 있어 큰 장애물로 존재하고 있다.
• Super-resolution: PALM과 STORM 기법은 형광분자(fluorophore)들을 일부만 형광시켜 분자의 정확한 위치를 구한 수천장의 영상들을 합쳐 초고해상도의 영상을 얻을 수 있었으며, 이러한 초고해상도 이미징 분야에서 딥러닝은 적은 수의 이미지로도 초고해상도의 영상을 구하는 것에 주로 사용되고 있다.
  • Nehme et al. (2018) [2] 논문의 경우 컴퓨터 시뮬레이션으로 얻은 회절한계 영상과 정확히 분자의 위치가 나타난 고해상도 영상을 입력과 정답으로 학습시킨 "deep-STORM" 모델을 소개하였으며, 해당 모델은 시뮬레이션 영상과 실제 형광현미경 영상 모두에서 높은 emitter detection efficiency를 보였다. (Fig. 1b)
  • Ouyang et al. (2018) [3] 논문에서는 U-Net을 기반으로 하는 딥러닝 생성모델(GAN)을 설계하여, 적은 수의 단일분자영상(Single-Molecule Localization Microscopy; SMLM)들로 얻은 PALM 영상을 입력으로 하고 충분히 많은 수의 단일분자영상을 통해 얻은 초고해상도의 PALM 이미지를 출력으로 하는 신경망 모델을 소개하였다. (Fig. 1c)
  • 위 논문에서 개발한 인공지능 신경망 모델을 ANNA (Artificial Neural Network Accelerated)-PALM이라고 명명하였으며, 신경망 학습에 필요한 손실 함수(loss function)로는 L1, SSIM (structural similarity), conditional adversarial loss 등이 사용되었다.
  • 앞선 논문들과 비슷한 신경망 구조와 손실함수를 사용하여,  Wang et al. (2019) [4] 논문에서는 회절한계 confocal 현미경 영상의 해상도를 향상시키기도 하였다. (Fig. 1d)
• Light-field, lens-less imaging, and tomography: light-field 영상들의 모음이나 lens-less 영상들을 단층촬영 영상들을 가지고 딥러닝을 통해 학습시키면, 현미경에서 찍은 2D 영상들을 가지고 3D 영상을 재구현할 수 있다 (* 참고: Fei et al., 2018 [5] & Fig 1f).

Fig. 1: Review of current applications of deep learning to fluorescence microscopy. (a) CARE for denoising, super-resolution, and axial deconvolution. (b) Deep-STORM for STORM super-resolution compared with a non-deep-learning technique. (c) ANNA-PALM for accelerated PALM super-resolution. (d) Computational fluorescence super-resolution by learning to translate from low- to high-numerical-aperture (NA) images. (e) Fluorescence light-field reconstruction for high-speed, high-resolution volumetric imaging. [* Ref. Belthangady, Chinmay, and Loic A. Royer. "Applications, promises, and pitfalls of deep learning for fluorescence image reconstruction." Nature methods 16.12 (2019): 1215-1225.]

 

3. 앞으로 딥러닝을 적용 가능한 형광현미경 영상 재구현 연구 주제

• Structured illumination: 초고해상도 영상기법 중에는 SIM (Structured illumination microscopy) 기법도 있는데, 이 방법은 여러방향으로 기울어진 조명 패턴(shifted illumination pattern)들을 샘플에 빛추어 공간주파수를 확장시킨 여러 영상들을 컴퓨팅으로 합성하여 기존의 회절한계를 두 배 이상 향싱시켰다.
  • 그러나 기존의 알고리즘은 효과적인 조명 패턴에 대한 이해가 필요로 하고, 샘플로 인해 생기는 빛의 뒤틀림(distortioin)과 희석(attenuation) 등의 오차에도 민감하게 영향을 받는다.
  • 따라서 합성곱 신경망(CNN)을 기반으로 한 SIM 기법을 사용하면, 입력과 정답으로 사용할 데이터셋만 모으면 되기에 위의 한계점들을 극복할 수 있을 것으로 예상한다. (Fig. 2a)
• Spectral deconvolution: 형광현미경 영상을 얻을 때 생기는 문제점 중 하나는 형광단백질이나 형광염료들이 영상 내에 넓게 퍼지다보니 방출된 스펙트럼이 중첩되기에 스펙트럼을 해석하는 것이 복잡해진다. 
  • 기존의 해결법은 영상이 얻어지는 속도를 희생하여, 빛의 각 파장대별로 채널을 분리하여 따로따로 스펙트럼을 얻는 것이다.
  • 마찬가지로 딥러닝을 사용하면 low SNR로 얻어진 중첩된 스펙트럼의 영상들을 고해상도의 영상으로 매핑(Mapping)할 수도 있을 것이다. (Fig. 2b)
• Scattered light haze reduction: 산란된 빛 또한 형광현미경 영상을 얻을 때 영상의 화질을 악화시키는 요인이 된다.
  
  • multiview light-sheet 현미경에서, 학습데이터로 low SNR에서 많이 산란된 이미지와 high SNR에서 산란 정도가 약한 영상을 모아서 학습시키면, 딥러닝을 통해 또란 고해상도의 현미경 영상을 얻을 수 있을 것으로 기대한다. (Fig. 2c)

Fig. 2: Potential applications of deep learning in fluorescence microscopy and key concepts. (a) Learning to reconstruct super-resolved images from structured illumination (SIM) acquisitions.  (b) Learning spectral unmixing of simultaneous multi-color acquisitions.  (c) Learning to reduce scattered-light ‘haze’ in light-sheet microscopy.  (d) Learning to stabilize live dynamic samples with weak supervision against a template shape.  (e) Fluorescence optical flow with deep learning. Computing vector fields from fluorescence spatiotemporal fluctuations with simulations.  (f) Unsupervised learning to reduce or obviate the need for curation and ground truth (for example, CycleGANs 40 ).  (g) Leveraging the time dimension by enforcing temporal consistency in predictions to further improve reconstruction.  (h) Deep reinforcement learning to drive smart microscopes capable of conducting complex imaging experiments.  (i) Transfer learning to facilitate training and reduce the need for specialized curated training datasets. [* Ref. Belthangady, Chinmay, and Loic A. Royer. "Applications, promises, and pitfalls of deep learning for fluorescence image reconstruction."  Nature methods  16.12 (2019): 1215-1225.]

 

 

* Reference: Belthangady, Chinmay, and Loic A. Royer. "Applications, promises, and pitfalls of deep learning for fluorescence image reconstruction." Nature methods 16.12 (2019): 1215-1225.

• [1] Weigert, Martin, et al. "Content-aware image restoration: pushing the limits of fluorescence microscopy." Nature methods 15.12 (2018): 1090-1097.
• [2] Nehme, Elias, et al. "Deep-STORM: super-resolution single-molecule microscopy by deep learning." Optica 5.4 (2018): 458-464.
• [3] Ouyang, Wei, et al. "Deep learning massively accelerates super-resolution localization microscopy." Nature biotechnology 36.5 (2018): 460-468. 
• [4] Wang, H. et al. Deep learning enables cross-modality super-resolution in fluorescence microscopy. Nat. Methods 16, 103–110 (2019).
• [5] Fei, Peng, et al. "Deep learning light field microscopy for rapid four-dimensional imaging of behaving animals." bioRxiv (2018): 432807.