[ANNA-PALM] Ouyang et al., 2018, Deep learning massively accelerates super-resolution localization microscopy

# 세줄 요약 #

1. 초고해상도 현미경법(Super-resolution microscopy method)의 영상 획득 속도는 단일 분자의 위치 결정(single-molecule localization)에 영향을 받게 되는데, 예를 들어 PALM과 STORM의 경우, 한번에 약 수십개 정도의 적은 수의 분자들만이 관측되는 단일 분자 영상 수천장을 합성하여 만들게 된다.
2. 저자들은 최근에 컴퓨터 비전 분야에 각광받는 인공 신경망(Artificial Neural Network; ANN)을 사용하여, 훨씬 적은 수의 단일 분자 영상들과 widefield 영상를 가지고 초고해상도 형광현미경 영상(fluorescence image)을 재구현(reconstruction)하는 ANNA-PALM 모델을 소개하였다.
3. 이 ANNA-PALM을 사용하면 영상의 획득 시간을 줄이고 샘플에 쪼이는 방사선양도 줄임으로서, 더 빠르고 샘플에도 안전한 고출력 또는 실시간 세포(live-cell) 초고해상도 영상을 얻을 수 있다.

 

# 상세 리뷰 #

1. Introduction

• 초해상도 현미경 영상기법 중에서, PALM(Photo-activated localization microscopy)과 STORM(stochastic optical reconstruction microscopy) 기법은 정교한 공간 해상도를 쉽게 구현할 수 있어 특히 매력적인 기법이다.
  • 일반적으로 10^3~10^5 정도의 저해상도를 가진 회절 한계 영상(diffraction-limited frames)들을 모아서 하나의 초고해상도 영상을 만들어낸다.
  • 한 장의 회절한계 영상에서는 회절 무늬들(diffraction-limited spots)의 중첩을 피해 각 분자들의 정밀한 위치 측정을 하기 위해서, 평균적으로 약 10~100개 사이의 적은 수의 형광단(fluorophores)만 활성화시킨다.
  • 따라서 초고해상도 영상을 얻어 정밀한 생물학적 구조를 관찰하기 위해서는, 많은 수의 위치 측정을 반복하여 샘플링 수를 충분히 늘려야만 하고, 당연히 많은 양의 회절 한계 영상과 영상 처리 시간이 걸린다.
• 저자들의 목표는 각 회절한계 영상에서 형광단의 활성화 밀도는 유지하면서도, 일반적인 PALM 기법보다 훨씬 적은 수의 영상들을 사용하여, 즉 위치 측정 샘플링 수는 획기적으로 줄이면서 기존의 PALM 영상과 비슷한 초고해상도 영상을 재구현하여 얻는 것이다. 
  • 일반적인 PALM 기법의 경우: K 개의 영상과  N번의 위치 측정
  • 일반적인 PALM 기법에서 사용되는 영상들(K)보다 훨씬 적은 수의 영상들(k) 사용: k << K
  • 그럼에도 영상 당 형광단 밀도(⍴)는 유지하여 결과적으로 위치 측정 샘플링 수를 줄인다: n =  ⍴k << N = ⍴K
• 저자들은 인공지능 신경망(Artificial Neural Network; ANN) 모델을 사용하는 딥러닝 기술을 활영하여 새로운 알고리즘을 개발하였기에, 이 알고리즘을 ANNA-PALM(Artificial Neural Network Accelerated PALM)이라고 소개하였다.

 

2. Method: Neural net architecture and learning strategy

• ANNA-PALM (앞으로, A-net) 구조: A-net은 총 25개의 합성곱 레이어(Convolutional layers)들로 이루어져 있으며, U-net과 적대적 생성 신경망(generative adversarial network; GAN) 모델을 기반으로 구성되었다.
• ANNA-PALM 학습 전략 - 1. Training: 이 인공신경망(Artificial Neural Network; ANN)은 적게 샘플링된 "저밀도(sparse)" PALM 영상(k<<K)들과 저해상도의 "widefield" 영상(single-molecule imaging)으로 많이 샘플링된 "고밀도(dense)" PALM영상(K)들을 재구현하도록 학습된다.
  
  • widefield 영상은 선택적으로 사용하는 옵션이기에, 입력으로 사용하거나 혹은 다른 종류의 영상들(예. microtubules, nuclear proes)로 대체할 수도 있다.
  • [손실함수_1] A-net 결과 영상(출력)과 고밀도 PALM 영상(정답)의 차이: L1 (두 영상의 각 픽셀값들의 차이의 절대값의 합 = L1 norm) + MS-SSIM (다변스케일(multiscale)에서의 구조적 유사성 지수(structural similarity index)).
  • [손실함수_2] A-net 결과 영상(출력)과 widefield 영상의 공간적 일치 정도: 저자들은 초고해상도 영상으로부터 얻은 widefield 영상과 실제 widefield 영상을 비교 예측하기 위해, 저해상도 측정기(low-resolution estimator)라는 또다른 합성곱 신경망(CNN; 4개의 레이어로 이루어짐)으로 A-net 출력 영상을 widefield 영상처럼 변환 후 실제 widefield 영상과 비교하며, 이때 손실값으로는 MS-SSIM을 사용하고 있다.
  • [손실함수_3] cGAN 판별자 손실: 판별자는 5개의 레이어로 이루어진 합성곱 신경망을 사용하며, 신경망의 입력으로는 저밀도 PALM + widefield영상에 고해상도 PALM(정답)을 더하거나 또는 A-net 결과(출력)을 더해서 입력으로 판별자에 넣고, 그렇게 판별자로 얻은 두 출력값을 손실함수 MSE를 통해 0과 1사이의 값으로 비교한다.
• ANNA-PALM 학습 전략 - 2. Inference: 적은 수의 영상들(k<<K)과 훨씬 짧은 시간(1초 이내)으로 얻은 새로운 영상 묶음(image sequences)들을 입력으로 넣어, 아직 만들지 않은 고품질의 초고해상도 영상을 재구현하여 출력을 내보낸다.  
  
  • A-net은 이렇게 얻은 초고해상도 이미지를 다시 widefield 영상으로 변환하여, 원본 widefield와 일치하는지 비교하는 'error map'을 만들어 잘 inference됬는지 비교할 수 있게 해준다. 
  • 이 error map을 사용하면, 재구성된 신경망 출력 영상에서 생긴 인공물(artifact)들을 강조하여 보여주기에, 신경망의 결과의 신뢰도를 추정할 수 있다.

* [Ref.] Ouyang, Wei, et al. "Deep learning massively accelerates super-resolution localization microscopy." Nature biotechnology 36.5 (2018): 460-468.

 

 

3. Result: A deep-learning approach to super-resolution image reconstruction

• 시뮬레이션 영상에서의 ANNA-PALM 검증

* [Ref.] Ouyang, Wei, et al. "Deep learning massively accelerates super-resolution localization microscopy." Nature biotechnology 36.5 (2018): 460-468.

• ANNA-PALM이 재구현한  immunostained microtubules

* [Ref.] Ouyang, Wei, et al. "Deep learning massively accelerates super-resolution localization microscopy." Nature biotechnology 36.5 (2018): 460-468.

• ANNA-PALM은 고출력 초고해상 영상처리를 가능하게 함.

* [Ref.] Ouyang, Wei, et al. "Deep learning massively accelerates super-resolution localization microscopy." Nature biotechnology 36.5 (2018): 460-468.

 

 

# Reference: Ouyang, Wei, et al. "Deep learning massively accelerates super-resolution localization microscopy." Nature biotechnology 36.5 (2018): 460-468.