아리곤듀의 개발 성장 일기

https://lynnshin.tistory.com/53

https://norman3.github.io/papers/docs/efficient_net.html

SDD란?

- 만약 입력 이미지 내에 여러가지의 객체들이 있을 때, 서로 사이즈가 다른 여러개의 Feature Map이 입력 이미지 내의 크기가 다른 객체들을 전담해서 탐지하도록 하는 모델

1. One Stage? Two Stage?

Object Detection 모델 종류 중 One-Stage / Two-Stage로 분류하는 차이점에 대해 짚고 넘어가자.

One-Stage VS Two-Stage

그동안 우리가 배웠던 RCNN, SPP, Fast RCNN, Faster RCNN 모델은 Two-Stage 모델이었다. 여기서 Two란, 위의 오른쪽 그림처럼 Region Proposal과 Object Detection 단계를 분리해 전개되는 모델들이다.

반면에 One-Stage 종류의 모델들은 Region Proposal 과 Object Detection을 따로 분리하지 않고 한 번에 수행하는 모델이다.

그렇다면 이러한 One-Stage 모델들이 등장한 배경은 무엇일까? Two-Stage 모델들의 학습 속도가 느리기 때문이다. Object Detection 분야에서 객체를 얼마나 탐지를 잘 하느냐도 중요하지만 탐지를 얼마나 '빨리' 하느냐도 마찬가지로 중요하다.

Mask R-CNN란?

R-CNN 계열 모델 중 Faster R-CNN을 기반한 모델로,

객체가 있을 만한 영역을 탐지 후,

탐지한 영역 내 어떠한 범주가 있을지 예측한 후,

탐지한 영역 내 픽셀이 예측한 객체인지 아닌지 판단(예측)하는 모델이다.

이 모델은 지도 학습 기반의 모델 특정 사진에 대해 정답이 있어야 한다.(레이블링 필요, Labeling)

- Instance segmentation(이미지 분할): 영상/이미지에서 의미있는 부분들을 구별해내는 기술. 이미지를 영역별로 나눠준 후, 각 개체가 어떤 범주에 속하는지 픽셀 단위로 분류하는 task이다.

 

참조: DMQA 논문리뷰ppt, 아래링크

ubuntu 환경에 docker 설치하기

curl -s https://get.docker.com/ | sudo sh

docker hub에서 이미지 가져오기

docker pull [docker image]
docker hub에는 누구나 이미지를 업로드할 수 있기 때문에 officail image인지 확인하는 것을 권장한다.

도커 이미지 목록 확인하기

docker images
설치된 docker 이미지 목록을 가져온다.

컨테이너 목록 확인하기

docker ps

• 현재 실행중인 컨테이너 목록을 보여준다.

docker ps -a

• 전체 컨테이너 목록을 보여준다.
  

  

컨테이너 생성하기

docker run [옵션] [이미지 이름] [실행할 파일]

docker run options 정리

• run -it 옵션으로 컨테이너를 실행할 경우 Ctrl+P,Ctrl+Q를 통해 컨테이너 무중단 상태로 빠져나올 수 있다.
• -i (interactive), -t (Pseudo-tty) 옵션을 사용하면 실행된 Bash 셸에 입력 및 출력을 할 수 있다.
• --name 옵션으로 컨테이너의 이름을 지정할 수 있다. 이름을 지정하지 않으면 Docker가 자동으로 이름을 생성하여 지정한다.
• -d 옵션은 컨테이너를 백그라운드로 실행시키는 옵션으로, 컨테이너 접속 후 해제하여도 컨테이너가 종료되지 않게 한다.
• -p 옵션으로 호스트 포트와 컨테이너 포트를 연결 한다. -p 옵션을 추가하여 여러개의 포트를 연결할 수 있다.
  • -p [container port]:[host port]
  • ex)
    docker run -i -t -d -p 9080:8080 --name [container_name] [image name]
    호스트의 9080 포트를 컨테이너의 8080포트와 연결한다는 의미이다.
    외부 9080 포트를 열어주는 것을 잊지말자!
    

    

도커 컨테이너 접속하기

docker exec -it [container name] /bin/bash

• -it 옵션을 사용하여 무중단으로 컨테이너에서 빠져나올 수 있고, /bin/bash를 통해 컨테이너 내에 있는 bash를 실행하여 컨테이너에 접속할 수 있다.
  

  

• exec와 run 명령의 차이점
  exec는 실행중인 컨테이너에 명령을 전달하고 run은 새로운 컨테이너를 만들어서 실행한다는 차이점이 있다.

도커 컨테이너 중지하기

docker stop <container name OR id>

• 도커 컨테이너를 중지하기 위해서는 stop 옵션을 사용한다.

호스트와 컨테이너 사이에 파일 공유하기

여러 가지 방법이 있지만 docker container cp 명령어를 사용하는 것이 제일 간편한 것 같다. 기본적으로 호스트 -> 컨테이너, 컨테이너 -> 호스트 양방향 모두 지원한다.

• 호스트에서 컨테이너로 파일 공유
  docker cp [host file path] [container name]:[container path]
  

  

• 컨테이너에서 호스트로 파일 공유
  docker cp [container name]:[container file path] [host path]

도커 이미지 및 컨테이너 삭제하기

• 컨테이너 삭제
  • 단일 컨테이너 삭제
    docker rm [container id]
  • 복수 개 컨테이너 삭제
    docker rm [container id], [container id]
  • 모든 컨테이너 삭제
    docker rm 'docker ps -a -q'
• 이미지 삭제
  • 단일 이미지 삭제
    docker rmi [image id]
  • 생성된 컨테이너와 함께 삭제
    docker rmi -f [image id]

참고: https://velog.io/@nunddu/docker-%EC%9D%B4%EB%AF%B8%EC%A7%80-%EB%B0%8F-%EC%BB%A8%ED%85%8C%EC%9D%B4%EB%84%88-%EA%B4%80%EB%A6%AC

1. 사전 준비

 curl등이 깔려있는지 한번 체크해봅시다.

sudo apt update

로 먼저 레포를 한번 업데이트해주고

sudo apt install apt-transport-https ca-certificates curl software-properties-common

으로 필요한 것들을 미리 설치해줍시다.

설치되는 패키지들은 curl, apt-transport-https, ca-certificates, software-properties-common 입니다.

2. 도커 설치를 위한 레포지토리 추가

curl -fsSL https://download.docker.com/linux/ubuntu/gpg | sudo apt-key add -

그 다음

sudo add-apt-repository "deb [arch=amd64] https://download.docker.com/linux/ubuntu bionic stable"

으로 레포를 추가해줍니다.

3. 설치준비

sudo apt update

레포지토리를 추가했으니 한번 업데이트 시켜줘야 합니다. 그 다음

apt-cache policy docker-ce

를 입력합시다.

도커 설치 준비

아래와 같이 나오면 됩니다. 현재는 설치되지 않아서 "설치 : (없음)" 으로 나옵니다.

영문판의 경우 install : (None) 일겁니다.. 아마?

4. 설치

그러면 이제 설치해봅시다.

sudo apt install docker-ce

를 이용하여 설치~

도커 설치

apt가 알아서 잘 설치해줍니다.

예전에 mysql 하나 설치하는데도 의존성 따져가면서 설치하던 때 생각하면 참 편리합니다...

이제 설치가 끝났겠네요.

5. 확인

설치가 됬으면 도커가 도는지 확인해야됩니다.

sudo systemctl status docker

를 입력해봅시다.

도커 동작 확인

active라는 글자가 보입니다. 도커 서비스가 잘 동작하고 있습니다.

6. 도커 컴포즈 설치

도커만 설치하면 다가 아닙니다. 도커 컴포즈라는것도 설치해주는게 좋습니다.

여러개의 컨테이너를 실행할 수 있도록 해주는 툴이라고 보면 됩니다.

도커 컴포즈의 최신버전 확인은

https://github.com/docker/compose/releases

에서 확인하고 다운받으세요.

아래 한줄입니다.

sudo curl -L https://github.com/docker/compose/releases/download/v2.1.0/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

요 위는 한줄입니다. 입력하면

도커 컴포즈 설치

요렇게 나오는데 만약 sudo 를 잊거나 하면 바로 권한 오류가 뜨니 꼭 넣어주세요.

그 다음에

sudo chmod +x /usr/local/bin/docker-compose

요렇게 권한 설정도 해줍시다.

7. 도커 컴포즈 설치 확인

그러면 이제 확인을 해봅시다.

docker-compose --version

를 입력하면

"컴포즈 설치 확인" 요렇게 버전이 나옵니다.

sudo usermod -aG docker $USER

로 도커를 사용할수 있게 설정하고 끝냅니다.

https://hcnam.tistory.com/25

▶데비안 (Debian)

데비안 계열은 좀 더 오픈소스쪽에 가깝고 레드햇은 상용쪽에 가깝습니다. 아무래도 데비안 계열에서 파생된 배포판 중 가장 유명한 건 우분투(Ubuntu)이겠죠?. 데비안도 오래되었기 때문에 Granpa Linux 리눅스 할아버지라고 부르기도 한다 하더라고요 ㅎㅎ

데비안이 이렇게 오래되었음에도 불구하고 초보자들에게는 적합하지 않아요. 일반 사용자들이 설치하여 사용하기에는 어렵고 기술지원이나 사후관리가 어렵기 때문인 점도 있습니다.

데비안 버전 중 안정성에 기반을 둔 배포는, 안정성이 진짜 강하다는 강점이 있지만, 그렇기에 그에 따른 단점도 있죠 ㅎㅎ 데비안 소프트웨어는 당연히 구시대적일 수밖에 없습니다. 안정성이 높다는건 그만큼 검증된 시간을 가졌다는 거고, 빠르게 흘러가는 IT 산업에서는 그 시간동안 수많은 새로운 기능들이 출시되었다는 것을 의미하니까요. 

데비안 장점: 배포되고 있는 서버 리눅스 들 중 안정성이 매우 높다. 다양한 패키지 활용

목적: 데스크탑 보다는 서버에 적합

​

데비안 계열에 속하는 배포판:

Konoppix, Corel, Lindows, Ubuntu, Linux Mint, Elementary OS, BackTrack, Kali LInux 등

1. 우분투 (Ubuntu) : 데비안 계열

현존하는 리눅스 배포판 중 가장 널리 쓰이고 널리 알려진 배포판. 우분투는 데비안 리눅스를 기반으로 제작된 리눅스입니다. 초보자들에게 가장 강력하게 추천되고 있는 배포판이죠.

▶레드햇 (Red Hat)

레드햇은 기업용 서버 OS로 가장 인기가 있죠! 그래서 실제 현업에서 가장 널리 사용되는 OS이기도 합니다.

예전에는 레드햇 리눅스는 유로버전과 무료버전을 모두 배포하였으나 현재 레드햇 리눅스의 의미는 상용으로 판매되는 레드햇 엔터프라이즈 리눅스(RHEL)만을 의미합니다.

​

기업 버전인 RHEL에 들어갈 기능을 테스트 하기 위한 용도로 배포되는 페도라가 레드햇 계열에 속하고, RHEL이 유료라 사후지원 기능을 제외하고 무료용으로 배포하는 centOS도 레드헷 계열에 속합니다.

레드햇 계열에 속하는 배포판:

RHEL, CentOS, Fedora, Oracle Linux, Scentific Linux, Asianux, Mandriva Linux, Mandrake 등

​1. 페도라 (Fedora)

"부분적으로 유료"

페도라 프로젝트를 후원함으로써 일반인들도 계속 레드햇 리눅스의 연장선에 있는 페도라 리눅스를 사용할 수 있게 했습니다. 무료인 페도라 리눅스는 상용인 RHEL에 포함될 새로운 기술을 미리 시험하는 용도로 사용됩니다. 즉 페도라 리눅스에서 안정화된 기능을 RHEL에 포함한것.

​

그래서 페도라는 잔버그도 많이 발생할 수 있고 오류가 있을 수도 있어요 (아무래도 신기능 테스트용으로 선보이는 거니까..) 이런 것들을 피드백받아서 개선하고 안정화시켜 RHEL에 추가하는 것

출처: https://crampstory.tistory.com/40 [크램프 이야기]

설치하기

1. WSL2(linux용 windows 하위시스템) 설치하기

1) windows 10에서 Linux 하위 시스템 활성화시키기

   설정> 시스템> 정보 에서 현재 사용하고 있는 컴퓨터의 windows 버전을 확인한다

2) Linux 하위 시스템 활성화

제어판> 프로그램> 프로그램 및 기능에서 왼쪽 줄에 있는 Windows 기능 켜기/끄기 클릭, 형광팬 쳐진 Linux용        windows 하위 시스템, 가상 머신 플랫폼 체크하고 OK버튼 누르기   ---> 컴퓨터 재부팅 하기

3) ubuntu 배포판 설치하기

시작버튼> Microsoft Store > ubuntu 다운로드

설치가 완료되면 Linux 사용자 이름과 암호 생성하면 완성!

실행하기

1. docker와 docker compose 설치하기

2. docker-compose.yml 파일 설정하기

version: '3.6'
services:
  influxdb2:
    image: influxdb:2.0.8-alpine
    container_name: influxdb2
    ports: - 8086:8086
    volumes:
      - type: bind
        source: /data/inftelegra/influxdb2/data
        target: /var/lib/influxdb2
      - type: bind
        source: /data/inftelegra/influxdb2/config
        target: /etc/influxdb2
    restart: always
  grafana:
    image: grafana/grafana:8.1.2
    container_name: grafana
    ports:
      - 3000:3000
    environment:
      - GF_INSTALL_PLUGINS=grafana-clock-panel,grafana-simple-json-datasource
    volumes:
      - /data/inftelegra/grafana/var_lib_grafana:/var/lib/grafana
      - /data/inftelegra/grafana/etc_grafana/grafana.ini:/etc/grafana/grafana.ini:ro
    restart: always

3. 실행하기

$ sudo docker-compose up

Microsoft Store에서 Ubuntu를 깔았는데 WSL오류가 발생하는 경우가 있다. 

wslregisterdistribution failed with error: 0x80041001

나는 이 에러를 접했고 다음과 같은 방법으로 해결했다.

powershell을 관리자 권한으로 열고 아래 명령어를 실행해보자!

Enable-WindowsOptionalFeature -Online -FeatureName Microsoft-Hyper-V -All

• Extreme Gradient Boosting의 약자
  • Boosting: 여러 개의 약한 의사결정나무(Decision Tree)를 조합해서 사용하는 앙상블(Ensemble) 기법 중 하나. 즉, 약한 예측 모형들의 학습 에러에 가중치를 두고, 순차적으로 다음 학습 모델에 반영하여 강한 예측모형을 생성

• Regression, Classification 문제를 모두 지원하며, 성능과 자원 효율이 좋아서, 인기 있게 사용되는 알고리즘

• 병렬 처리를 사용해 학습, 분류 속도가 빠름

• XGBoost 자체에 과적합 규제 기능이 있어 강한 내구성을 지님

• 다른 알고리즘과 연계 활용성이 좋음 – Ensembling 학습 가능