본문 바로가기

분류 전체보기149

[VGG] Simonyan & Zisserman, 2015, Very Deep Convolutional Networks For Large-Scale Image Recognition # 세줄 요약 # 저자들은 대량의 영상 인식 과제에서 합성곱 신경망(Convolutional Neural Network)의 깊이(depth; 여기선 신경망의 층을 늘리는 것을 의미함)에 따른 정확도의 변화를 연구하였다. 이 논문에서 소개된 신경망 모델은 매우 작은 크기(3X3)의 합성곱 필터(Convolutional filter)로 구성하여 신경망의 깊이를 증가시켰으며, 이 모델은 선행 신경망 모델들과 비교하여 신경망의 깊이는 16~19층까지 늘려서 유의미한 성능 향상 결과를 보여주었다. 이 논문의 저자들인 VGG그룹은 2014년 이미지넷 영상 인식 대회(ImageNet Large-Scale Visual Recoginition Challenge; ILSVRC)에서 localization 부문에서 1등, .. 2020. 12. 9.
케라스 창시자에게 배우는 딥러닝 - 7. 딥러닝을 위한 고급 도구 # 세줄 요약 # 다중 입력, 다중 출력, 복잡한 네트워크 topology를 갖는 모델의 경우 케라스에서는 함수형API를 사용하며, Input layer와 output layer들을 정의한 후 마지막에 'Model([input_1, input_2], [output_1, output_2, output3])'과 같은 함수의 형태로 묶어줘야 한다. 케라스 콜백(callback)은 모델의 fit() 메서드가 호출될 떄 전달되는 객체로서 모델 체크포인트 저장, 조기 종료(early stopping), 하이퍼 파라미터 동적 조정(ex. Learning rate), 텐서보드 시각화 등이 있다. 딥러닝 모델의 성능을 최대한으로 끌어올리는 방법에는 Batch Normalization, Separable Convoluti.. 2020. 12. 8.
케라스 창시자에게 배우는 딥러닝 - 6. 텍스트와 시퀀스를 위한 딥러닝 # 세줄요약 # 텍스트를 다루려면 텍스트를 단어, 문자, n-그램 단위로 나눠주는 토큰화(tokenization)라는 작업을 해주어야 하며, 이러한 토큰화에는 단순히 0, 1을 이용하여 행렬 배치해주는 '원핫 인코딩(one-hot encoding)'과 학습을 통해 단어 벡터(word vector)로 만들어주는 '단어 임베딩(word embedding)' 두가지 방법이 존재한다. 시퀀스 또는 시계열 데이터인 자연어 처리를 위해서는 네트워크가 전체 시퀀스의 흐름을 분석할 필요가 있고, 따라서 시퀀스의 원소를 순회하며 처리한 상태를 저장하고, 이전의 처리한 정보를 재사용하는 순환신경망(RNN: Recurrent Neural Network)이 주로 사용된다. 순환신경망(RNN)에서 주로 쓰이는 층(layer)로.. 2020. 12. 3.
케라스 창시자에게 배우는 딥러닝 - 5. 컴퓨터 비전을 위한 딥러닝 # 세줄 요약 # 합성곱 신경망(Convolutional Neural Network)은 합성곱층(Convolutional layer)와 풀링층(Pooling layer)로 이루어진 신경망을 의미하며, 시각적인 문제(Computer Vision)를 다루는데 가장 강력한 툴이다. 적은 이미지 데이터셋을 가지고 있을때 효과적인 방법은 사전 훈련된 네트워크(pretrained network)를 이용하여 특성 추출(feature extraction) 또는 미세 조정(fine tunning) 방법을 사용하는 것이다. 일반적인 딥러닝 모델이 블랙박스(학습 과정을 사람이 이해하기 어려움)인 것에 반해 시각적인 패턴을 학습하는 합성곱 신경망은 중간층의 출력(feature map), 필터(filter)와 클래스 활성화에 .. 2020. 11. 16.
케라스 창시자에게 배우는 딥러닝 - 4. 머신 러닝의 기본 요소 # 세줄 요약 # 머신러닝은 지도학습(Supervised Learning: 입력데이터에 타깃(정답)을 매핑하는 방법을 학습), 비지도학습(Unsupervised Learning: 타깃 없이 입력데이터의 흥미로운 특징 또는 표현 학습), 자기지도학습(Self-supervised Learning: 입력데이터에서 경험적인 알고리즘을 사용해 레이블 생성), 강화학습(Reinforcement Learning: 에이전트가 주어진 환경에서 보상을 최대화하는 방법을 학습) 등의 네가지 분류로 나뉜다. 머신러닝에서는 데이터를 훈련에 사용되는 훈련데이터(Train Dataset), 훈련 중 성능을 평가하여 모델 튜닝에 도움을 주는 검증 데이터(Validation Dataset), 훈련이 끝난 모델을 완전히 새로운 데이터에.. 2020. 10. 20.
Han et al., 2020, Predicting Unnecessary Nodule Biopsies from a Small, Unbalanced,and Pathologically Proven Dataset by Transfer Learning # 세줄요약 # The database includes 68 biopsied nodules, 16 are pathologically proven benign and the remaining 52 are malignant. The leave-one-out and 10-folder cross validations are applied to train and test the randomly selected 68 image slices (one image slice from one nodule) in each experiment. Transfer learning from other larger datasets can supply additional information to small and unbalanced.. 2020. 10. 6.
Lindsay et al., 2018, Transfer Learning Approach to Predict Biopsy-Confirmed Malignancy of Lung Nodules from Imaging Data:A Pilot Study # 세줄요약 # Dataset Includes 796 patient have pathology-confirmed diagnosis(from CT-guided biopsy) and high-resolution CT imaging data at one institution between 2012 and 2017. To avoid overfitting on small dataset, Transfer learning to train a network using open dataset(LIDC) and added three new untrained layers. These study using only 86 patients, because Lesion location was manually determined u.. 2020. 10. 5.
키르케 - 매들린 밀러 지은이: 매드린 밀러 옮긴이: 이은선 출판사: 이봄 출간: 2020년 5월 28일 # 세줄 요약 # 그리스 신화에서 마녀의 여신이었던 키르케의 이야기를 작가가 현대의 시선으로 재해석 혹은 각색한 소설. 가장 인상깊었던 점은 주인공인 키르케를 신화에서 봤던 단순한 악녀의 이미지가 아니라 인간관계(또는 신과의 관계)에서 상처 받고 자신의 나약함에 고뇌하고 우여곡절을 겪으며 서서히 성장하는 매우 인간적인 모습으로 그렸다는 점이다. 신화의 내용을 그대로 따라가기에 전체적인 내용이 이미 '스포'되어 있긴 하지만, 약간의 각색과 키르케의 인간적인 내면 묘사로 인해 개인적으로 매우 재밌게 읽을 수 있었다. # 상세 리뷰 #(!스포주의!) 내가 신화에서 느꼈던 키르케는 질투심에 스킬라라는 님프를 괴물로 만들고, 남자들.. 2020. 10. 5.
케라스 창시자에게 배우는 딥러닝 - 3. 신경망 시작하기 # 세줄요약 # 신경망이 가장 많이 사용되는 문제로는 이진 분류, 다중 분류, 스칼라 회귀 등이 있으며 각각의 문제에 맞는 올바른 손실함수를 선택하는 것이 중요하다(이진 분류: Binary crossentropy, 다중 분류: Categorical crossentropy, 스칼라 회귀: Mean Squared Error). 전형적인 케라스 작업 흐름: 훈련 데이터(입력 텐서, 타깃 텐서) -> 네트워크(신경망 모델) 정의 -> 손실함수, 옵티마이저, 측정지표 선택 후 학습과정 설정 -> 모델의 fit() 메소드 반복 호출 훈련 데이터가 적으면 과대적합을 피하기 위해 은닉층의 수를 줄인 작은 모델을 쓰거나 k-겹 교차검증과 같은 방법으로 모델의 신뢰도를 올릴 수 있다(은닉층이 클수록 추출하는 특성이 많아지.. 2020. 8. 31.
낙타 샹즈 - 라오서 지은이: 라오서 옮긴이: 심규호, 유소영 펴낸곳: 황소자리 출판사 펴낸날: 첫판 4쇄 2018년 3월 20일 # 세줄요약 # 아마도 청나라 말기 또는 항일내전 전까지 중국 북평에서 인력거꾼 '샹즈'의 비참한 삶을 그린 이야기 격통의 중국 근현대사에서 비참한 삶을 살 수 밖에 없었던 중국 하층민들의 삶을 때로는 웃기게 때로는 담담하게 잘 서술하였다. 개인적으로 성실하였음에도 고지식하였던 샹즈가 고지식함을 유지하였기에 몇 번의 기회를 놓치고 나락으로 빠진 것을 보고 사람은 항상 배우고 앞날은 준비해야 한다는 것을 알았다. # 상세 리뷰 # (!스포주의!) 샹즈의 별명 '낙타'는 그가 가장 화려하던 시절에 미끄러지면서 받게 된 별명이다. 샹즈는 처음 북평으로 와서는 말그대로 정말 성실하게 다른 인력거꾼과 친분.. 2020. 8. 26.