AI프로그래밍 리뷰/프로그래밍6 딥러닝을 위한 리눅스(Ubuntu) GPU 서버 구축하기 - 3. 추가 설정(도커, NFS) # 세줄 요약 # 1. Server Setting: 고정 IP 설정, ssh 포트 변경 및 포트 포워딩 설정, ssh 연결 자동화 2. GPU 설정: Nvidia Driver 설치 (* CUDA & Anaconda는 "Docker" 사용할 것이므로 제외!) 3. 추가 설정: Docker 설치(+Nvidia container toolkit 설치), NFS 설치 및 세팅 # 상세 리뷰 # * GPU 서버 환경: Linux(Ubuntu) base, Nvidia GPU * 로컬 컴퓨터 환경: Linux or MAC 3. 추가 설정 3-1. 도커(Docker) 설치 - 기본적인 도커 설치는 공식 홈페이지 참고 https://docs.docker.com/engine/install/ubuntu/ Install Doc.. 2023. 4. 2. 딥러닝을 위한 리눅스(Ubuntu) GPU 서버 구축하기 - 2. GPU Setting # 세줄 요약 # 1. Server Setting: 고정 IP 설정, ssh 포트 변경 및 포트 포워딩 설정, ssh 연결 자동화 2. GPU 설정: Nvidia Driver 설치 (* CUDA & Anaconda는 "Docker" 사용할 것이므로 제외!) 3. 추가 설정: Docker 설치(+Nvidia container toolkit 설치), NFS 설치 및 세팅 # 상세 리뷰 # * GPU 서버 환경: Linux(Ubuntu) base, Nvidia GPU * 로컬 컴퓨터 환경: Linux or MAC 1. GPU Setting 1-1. 그래픽 카드 드라이버 설치 - 그래픽 카드 정보 및 드라이버 확인 설치 가능한 드라이버 확인 ubuntu-drivers devices 현재 설치된 그래픽카드 확인 .. 2023. 4. 2. 딥러닝을 위한 리눅스(Ubuntu) GPU 서버 구축하기 - 1. Server setting # 세줄 요약 # 1. Server Setting: 고정 IP 설정, ssh 포트 변경 및 포트 포워딩 설정, ssh 연결 자동화 2. GPU 설정: Nvidia Driver 설치 (* CUDA & Anaconda는 "Docker" 사용할 것이므로 제외!) 3. 추가 설정: Docker 설치(+Nvidia container toolkit 설치), NFS 설치 및 세팅 # 상세 리뷰 # * GPU 서버 환경: Linux(Ubuntu) base, Nvidia GPU * 로컬 컴퓨터 환경: Linux or MAC 1. Server Setting - Ubuntu update: 설치 시작 전에 우분투 업데이트 (가능하면 정기적으로 가끔씩 해주자!) sudo apt update && sudo apt upgrade .. 2023. 4. 1. 리눅스 터미널에서 텐서플로가 GPU를 잡고 있는지 확인하는 방법 # 세줄요약 # NVIDIA GPU driver와 CUDA가 설치되어있는지 확인 한다. [nvidia-smi, nvcc -V] 텐서플로 라이브러리에서 device_lib 모듈을 이용하는 방법: >>> [device_lib.list_local_devices()] 텐서플로 라이브러리에서 config 모듈을 이용하는 방법: [>>> tf.config.list_physical_devices()] # 상세 리뷰 # 1. 먼저 리눅스에서 NVIDIA GPU driver와 CUDA가 설치되어있는지 확인해야 한다. nvidia-smi [>>> nivida-smi] 명령어를 사용하면 위 그림과 같이 Driver Version과 CUDA Version을 확인하고 아래에서 해당 리눅스 서버에 설치된 GPU들을 목록으로 확인.. 2021. 8. 19. 리눅스 터미널 백그라운드에서 프로세스 돌리기 (tmux or nohup) # 세줄 요약 # 리눅스 터미널에서 파이썬(.py) 등의 프로그램을 돌릴때 터미널 창을 닫아도 프로세스가 돌아갈 수 있도록 백그라운드에서 돌리는 방법 nohup 명령어를 사용하여 프로세스를 돌리고, tail 명령어로 백그라운드에 돌아가고 있는 프로세스를 display 한다. nohup도 좋지만, TMUX를 사용시 훨씬 편해진다! # 상세 리뷰 # 1. nohup nohup 명령어를 통해 프로세스를 백그라운드로 보내고, 프로세스 output은 nohup.out 파일에 저장된다. ! 만약 nohup.out 파일이 아닌 원하는 파일명으로 저장하고 싶은 경우: >>> nohup python main.py > test.out 단 nohup 명령어만 사용할 경우, log와 같은 output 결과물을 터미널 상에서 .. 2020. 4. 29. 리눅스 터미널에서 딥러닝 학습 강제 중단했을때 GPU에 남은 메모리 정리하는 방법 # 세줄요약 # ps aux | grep python 명령어를 사용하여 딥러닝 학습을 실행시킨 python 파일의 실행 ID를 찾는다. 찾은 아이디가 예를 들어 '1234' 라면, sudo kill -9 1234 명령어를 사용하여 Kill 명령어를 내린다. nvidia-smi 명령어로 GPU 메모리가 정리되었는지 확인한다. # 상세리뷰 # * 리눅스 터미널에서 ctrl+c 등으로 머신러닝 학습 프로세스를 강제로 종료할 시에는 간혹 프로세스가 완전히 종료되지 않고 GPU 메모리에 데이터가 남아있는 경우를 볼 수 있다. * 이를 확인하려면 터미널 상에 nvidia-smi 명령어를 입력하여 GPU 가동 현황을 볼 수 있다. >>> nividia-smi - 위와 같이 4개의 GPU 모두 사용 현황을 확인할 수 .. 2020. 4. 2. 이전 1 다음
