4/5 :: CV

 

Vison : 시각 정보의 집합 + 이미지를 숫자 형태의 데이터(tensor) 하여 저장

 

input data로 image를 사용

 

 

• Image Processing
  • Resize : 해상도
  • Color jitter : 색분할? 
• Feature Extraction
  • Edge detection
    • axis 별 edge enhanced 식별
  • Segementation
    • watershed (고전기법)
• img → img : Panorma Stitching
• img → world
  • Multiview Stereo : 2D 사진 여러장으로 3D 및 질감 등 구현
  • Depth Estimation : 신호분야에서 사용
  • LIDAR : 자율주행
• Semantics
  • Object Detection
  • Segmentation

 

활용사례

• Pose Estimation
• OCR
• Medical Image Analysis
• Generative Models : GAN, VITON, Text-to-image, image-to-video...
  
  • image, video, text data 간 조합에 따라 다양한 모델 사용가능할듯함
• NeRF

 

---

 

 

고전 컴퓨터 비전

: Rul-based Alogorithm에 기반한 처리 방식

 

딥러닝 모델 없이 데이터 가공시 활용도 높음

(딥러닝에 의한 오류가 발생시 학습 데이터에 포함되어 오류 발생가능성 보유)

 

 

Morphological Transform

 

홀수 크기 kernel이 이미지와 convolution 연산 수행

• Erosion : 경계 침식 / 특징 축소
• Dilation : 경계 팽창 /  특징 확대

Erosion과 Dilation을 같이 쓸 수 있는 OpenCV 라이브러리가 있음 

 

 

Contour Detection

 

Contour : 동일 color & intensity 보유한 연속 경계점으로 구성된 curve 

딥러닝 모델 x = 데이터 가공용

 

기본적인 틀 Edge detection → Dilation (optional) → Contour detection

 

1. 노이즈 제거

• 가우시안 필터 사용

2. 높은 미분값 찾기

• 수평방향, 수직방향

 

3. 기타 최대값 아닌 픽셀들 0으로 치환(black)

• 엣지 검출 미기여 픽셀 제거

4. 하이퍼파라미터 조정 & 세밀한 edge 검출

 

 

OpenCV의 findContours() 함수 이용

 

 

---

 

Visual Feature - Backbone - Decoder - Output

 

 

CNN : Convolutional Neural Network

 

• Convolution Layer : task 수행용 feature 학습용
  • Input x Kernel + Bias = Output

    

    • Stride(S) : Fiter 내 이동간격
    • Padding(P) : Feautre Map 크기 유지용 임의 값 넣은 Pixel (ex. Zero Padding)  

 

• Activation Fuction : 비선형성
  • 선형성 함수로 해결 불가한 과제를 수행할 수 있게 고차원 모델 형성에 활용
  • Sigmoid, Relu ... 

• Pooling Layer : Feature Map에 Spatial Aggregation 화

 

---

 

 

AlexNet

Convolution - Pooling - Batch Normalization

 

• Relu 사용
• Lateral Inhibition 방지 위해 Normalization 진행 
• Overfitting 방지 위해 Augmentation, Dropout 기법 사용

 

 

 

 

VGG

• 3x3 Filter 3개 ≒ 7x7 conv 1개 효과 활용 = 더 적은 파라미터 구현