4/12~4/13 :: Ideation

• Ideation : Online Preprocessing
  • train data에 augmentation을 적용해 학습한다 해도 경우의 수가 많음 → 성능 저하가능
  • test data를 기반 통계(최다빈도 augmentation 기법, rotation 각도, noise 적용률.. ) 사용불가
  • (Data leakage에 해당하여 대부분 대회에서 금지)
  • 개별적으로 input됨을 가정하는 특성 고려 필요
  test data를 model이 예측하기 쉬운 형태로 실시간으로 전처리하는 방법 효과적일거라 가정
• Procedure
• test data 전처리 및 모델별 학습 → train & validation loss 계산 → 모델 결정 → test data 전처리 → prediction 진행
• Preprocessing Detail
  • train data
    1. black masking 채우기
       • object detection + contour에 boxing 해서 영역 표시
       • 인근 픽셀 참고하여 채우기
    2. augmentation 적용
       • 각 기법을 조합하여 경우의 수를 늘릴 예정
         • 4 x 2 = 8
       • 사용 기법
         • rotation : 0˚(원본), 90˚, 180˚, 270˚
         • flip : 좌우만 고려
  • test data
    1. denosing
       • noise 와 brightness 복구
    2. black masking 채우기
    3. angle detection & rotation
       • 직각으로 복구하면 0˚(원본), 90˚, 180˚, 270˚ 중 하나가 될 것
         • 경우 1 : 전체 이미지 모서리 검출가능(rotation 기법 활용추정)
           • image 경계선 검출 및 angle 측정 → roation 적용
         • 경우 2 : 이미지 꽉 차서 모서리 검출 불가
           • object detection + contour에 boxing
           • box의 angle 계산 → rotation 적용
• Reference
  1. augmentation
     • https://hoya012.github.io/blog/Image-Data-Augmentation-Overview/
  2. denosing
     1. Histogram equalization
        1. https://m.post.naver.com/viewer/postView.nhn?volumeNo=19938767&memberNo=38316664&vType=VERTICAL
        2. https://bkshin.tistory.com/entry/OpenCV-10-히스토그램
     2. GAN : https://kimjy99.github.io/논문리뷰/denoising-diffusion-gan/
     3. KBNet : https://paperswithcode.com/paper/kbnet-kernel-basis-network-for-image
  3. angle detection
     1. Contour Detection using OpenCV https://learnopencv.com/contour-detection-using-opencv-python-c/
     2. 데이터별 딥러닝 학습 모델의 정확도 향상을 위한 외곽선 특징 적용방안 연구 https://m.earticle.net/Article/A417097
     3. image contour & boxing 예시 https://www.freedomvc.com/index.php/2021/06/26/contours-and-bounding-boxes/
     4. Auto Detection of Rotation Angle on Arbitrary Image with Orthogonal Features https://dsp.stackexchange.com/questions/58226/auto-detection-of-rotation-angle-on-arbitrary-image-with-orthogonal-features
• Prediction Model
  • Sota Models : https://paperswithcode.com/sota/image-classification-on-imagenet
    • Model Soups
    • Scaling Vision Transformers
    • FixEfficientNet
    • EfficientNetn2
    • Resnet
• etc
  • resource가 많이 필요할듯함
    • gpu 서버 연결 및 활용 예정
    • 로컬도 제한적으로 사용가능할듯 함
  • 이미지 사각형 상관없이 object가 정방향으로 오게 조정하는 기법 있음 → 다른 모델로 test data에 적용할까 생각중 https://github.com/pidahbus/deep-image-orientation-angle-detection
  • model parameter tuning에 대한 방법은 아직 고민중
    • 코드 구현 서둘러서 실험 많이 해볼 필요성 있음
    • wand & hydra 사용가능한지 테스트

---