# 세줄 요약 #
- 형광현미경법에서 연구자가 원치 않는 임의의 공간 형태에서 나오는 배경 형광은 광학현미경 영상의 품질을 저하시키는 주요 원인 중의 하나이다.
- 저자들은 현미경 영상에서 배경을 빠르게 추정하여, 영상 내의 포인트 소스(point source)를 뛰어난 정확도로 측정하기 위해, 깊은 신경망(deep neural network) 중에 하나인 U-net 형태의 구조를 기반으로 하는 BGnet을 개발하였다.
- 저자들은 잘 학습된 BGnet으로 배경을 측정 후 제거함으로서 영상 내의 다양한 PSF(point source function)들을 추출할 수 있었고, 이렇게 배경을 제거한 영상들을 사용하여 정밀한 생체구조를 볼 수 있는 고품질의 초해상도 영상을 재구현하였다.
# 상세 리뷰 #
1. Introduction
- 광학 현미경에서, 배경(background; BG)의 의미는 영상 내에서 우리가 조사하고자하는 표본에서 발생한 빛으로 얻어진 영상이 아니라, 다른 광원으로부터 얻어진 영상을 의미한다.
- 형광현미경법에서 면역화학(Immunochemistry)으로 염색(라벨링)된 세포 단백질을 조사할때, 항체가 세포의 구성물질 아닌 다른 곳에 붙어서 형광을 내거나, 혹은 세포가 아닌 다른 샘플이 자체 형광(autofluorescence)을 하는 경우 배경(BG)이 생길 수 있다.
- Unstructured BG & Structured BG (sBG):
- 종종, 카메라 기반으로 ROI(Region of Interest) 내에서 localization을 수행할때, 일반적인 광학에서 발생하는 노이즈로 인해 배경 구조가 이미지 전체에서 균일한 형태(uniform)로 나타난다. -> 이를 "unstructured (uniform) BG"라 부른다.
- 하지만 이러한 가정은 매우 단순화한 것으로, 다양한 원인으로 발생한 공간주파수(spatial frequencies)들이 합성된 형태의 형광된 배경(fluorescent BG)이 나타나기도 한다. -> 이를 "structured BG (sBG)"라 부른다.
- "sBG"는 single emitters에서 빛을 감지하여 PSF를 추정하려고 할때, 배경 빛 때문에 PSF의 형태에 왜곡을 주기 때문에, Single-Molecule Localization Microscopy (SMLM)을 통해 초해상도 현미경 영상을 얻으려 할때 안 좋은 영향을 끼친다.
- photoactivated localization microscopy (PALM), stochastic optical reconstruction microscopy (STORM)과 같은 초해상도 SMLM기법에서 배경(sBG)이 제거된다면 정밀한 PSF 측정으로 인해 영상의 해상도가 향상될 것이다.
- 그러나 불행히도 sBG는 상황에 따라 형태가 다르고 불규칙하지만 그 패턴이 영상에서 차지하는 공간도 크기 때문에 이를 측정하는 것은 쉬운 일이 아니다.
- 저자들은 그래서 진보된 영상 분석 기술인 깊은 신경망(Deep Neural Network; DNN)을 사용하여, 딥러닝 기술로 영상에서 sBG를 제거하고자 한다.
2. Method: General Workflow and BGnet Architecture
- BGnet 구조: 저자들은 U-Net 형태의 구조를 광학현미경 영상에서 sBG 예측 모델의 신경망 구조로 채택하였다.
- U-Net: 의료 영상 분야에서 이미지 분할(segmentation) 작업에 탁월한 성능을 보임 -> sBG estimation에도 사용 (입력: 단분자 영상 (PSF + sBG), 출력: sBG)
- U-Net 핵심 구조: Encoder-Decoder 구조에 skip connection이 추가된 형태
- BGnet에 학습 및 추론되는 영상의 크기는 최대 40x40으로 작기 때문에, 원래 U-Net 모델 보다는 block 수도 적고, 각 레이어 별로 사용되는 필터 수도 적은 편이다(* 아래의 원본 U-Net 구조와 fig 1의 BGnet 구조 참고!).
- PSF simulation: 저자들은 BGnet 모델에 넓은 파라미터 공간을 포괄하는 단분자 데이터(PSF + sBG)를 훈련데이터셋으로 학습시키기 위해, 일반적으로 초해상도 현미경 영상의 단분자 위치 추정에 자주 사용되는 3종류의 PSF를 simulation으로 만들고, sBG는 Perlin noise를 사용해 만들었다.
- 3종류의 PSF: The standard open aperture (OA) PSF, the double-helix (DH) PSF (with 2-um axial range), the Tetrapod PSF (with 6-um axial range) + 불규칙한 형태의 임의(arbitrary) PSF도 추가
- sBG를 만들기 위해 Perlin noise를 사용한 이유: 1) 대부분의 실험환경에서 보이는 실제 sBG와 그 형태가 유사하며, 2) 다양한 공간주파수에서 구조 재현을 위한 파라미터 제어가 가능하다.
- 학습 & 검증 데이터 생성
- 현미경 세팅은 glass coverslip (굴절률; 이하 n=1.518) 안의 샘플의 medium은 물(n=1.33)일 때 샘플을 관측하는 것으로 가정하고, 샘플의 medium 내에서 다양한 위치와 렌즈의 여러 초점거리에 따른 PSF를 생성하였다.
- sBG 모델링에 사용된 Perlin noise는 각 PSF 종류 별로 아래의 공간 주파수들에 맞춰 생성되었다. (* L = 이미지의 크기(pixel 단위))
- OA PSF: L/12, L/6, L/4, L/2
- DH & arbitrary PSF: L/20, L/10, L/5, L/2
- Tetra6 PSF: L/40, L/20, L/10, L/5, L/2
- 입력에 사용되는 PSF with BG 영상과 정답으로 사용되는 sBG 영상 모두 0~1로 정규화(Normalization) 후에 학습하였다(따라서 sBG 제거 시 음수 픽셀이 나타나는 것이 BGnet의 유일한 단점이다).
3. Result
- 학습 결과: BGnet은 여러 형태의 PSF 영상으로부터 정확하게 sBG를 측정해냈다.
- Fig 2는 BGnet이 validation 데이터셋에서 각각의 PSF simulation(OA, Double Helix, arbitrary, Tetra6) 영상에 대해 sBG를 제거한 결과이다.
- Fig 2A는 각각의 PSF의 probability density functions (PDFs)를 axial 방향에서 보여준 것이고, Fig 2B에서는 PSF와 true BG(정답), Fig 2C에서는 prediction BG(BGnet 출력)과 true BG와 prediction BG의 차이(residual) 영상을, Fig 2D에서는 PSF에서 true BG와 prediction BG를 뺀 영상을 각각 보여주고 있다.
- 마지막으로 Fig 2E는 true BG와 prediction BG의 유사도를 보여주기 위해, true BG와 prediction BG의 pixel value residual 분포(빨간색)와 trueBG와 Poisson noise의 pixel value residual 분포(회색)를 비교하였으며, 결과를 보면 prediction BG의 residual 분포가 거의 대부분은 0에 가깝게 형성되어, 학습이 매우 잘된 것을 확인할 수 있다.
- 단분자 위치 정확도 검증: BGnet의 성능을 확인하기 위해 각각의 단분자 별로 위치 정확도(Localization Precision)를 분석하였다.
- 단분자의 위치 정확도가 BGnet을 사용하였을때, 얼마나 개선되었는지 알기 위해 MLE(Maximum Likelihood) fitting 알고리즘을 사용하였으며, PSF의 원본 위치를 기준으로 총 4개의 시나리오에서 위치 정확도를 비교하였다. 1) true BG correction, 2) prediction BG correction, 3) 배경은 없이 poisson noise만 있는 경우, 4) constant BG correction (전통적인 rule-based 방식의 영상처리 기법으로 추정한 constant BG를 제거한 경우)
- 그 결과 BGnet의 위치정확도(시나리오2)는 true BG correction(시나리오1)에 거의 근접하고, constant BG correction(시나리오4)보다는 확실히 개선된 성능을 보였다. (Fig 3)
- 이후 BGnet의 위치 정확도 개선 정도를 알기위해 추가로, 각각의 BG correction 영상(true BG, prediction BG, constant BG)에 대해 공간 푸리에 변환(spaitial furier transform)을 하여 단분자의 위치 정확도와 BG complexity(Signal-to-Background-Ratio;SBR로 정규화) 간의 관계를 비교하였으며, 마찬가지로 prediction BG(BGnet 결과)이 constant BG correction보다는 우수하면서, true BG correction에 근접한 성능을 가짐을 보였다. (Fig 4)
- 실험 데이터셋 결과: 마지막으로 실제 실험 데이터셋에서도 BGnet이 단분자 측정 정확도를 높임으로서 SMLM 영상의 화질(Image Quality)를 개선시키는 것을 확인하였다.
- 검증에 사용한 실험 데이터셋은 BSC-01 세포의 미세섬유(microtubules)을 AlexaFluor 647 형광염료(fluorescent dye)로 면역염색(immunostaining)한 영상을 사용하였다.
- Fig 5에서 그 결과를 확인할 수 있으며, 각각의 PSF에서 sBG가 잘 제거됨을 확인하였고(Fig 5A), BGnet BG를 제거하였을 때와 constant BG를 제거하였을 때의 단분자 위치 표준편차를 보면 전체적으로 BGnet이 더 작은 것을 볼 수 있고(Fig 5B), 이후 합성된 SMLM 초해상도 영상을 보면 미세섬유가 더 정밀하게 잘 보이는 것을 확인할 수 있다(Fig 5C).
* Reference: Möckl, Leonhard, et al. "Accurate and rapid background estimation in single-molecule localization microscopy using the deep neural network BGnet." Proceedings of the National Academy of Sciences 117.1 (2020): 60-67.
댓글