12/20 :: 개발 1

오류해결 List

1. 브라우저 꺼짐현상

 https://rimeestore.tistory.com/entry/%EC%85%80%EB%A0%88%EB%8B%88%EC%9B%80-%EB%B8%8C%EB%9D%BC%EC%9A%B0%EC%A0%80%EA%B0%80-%EA%B3%84%EC%86%8D-%EA%BA%BC%EC%A7%88-%EB%95%8C 

2. selnium 테이블 읽기

https://passwd.tistory.com/187

 

문제 발생  hidecols1~5의 데이터를 읽지 못함

> xpath로 구조를 파악하여 table 데이터를 가져와서 분할하는 방법으로 전환

 

크롤링 기초 로직 완성 2023.12.20 14:00~17:37

 

크롤링 반복 로직 설계

## 반복 로직 구상안

# list & variables

url = 'https://www.airportal.go.kr/knowledge/statsnew/air/'

category = [ 'airport', 'route', 'country', 'airline' ]
year_sel = ['2020','2021','2022','2023']
month_sel = [1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11, 12]
operate_sel = ['정기','부정기']
route_sel = ['국내선','국제선']

browser = webdriver.Chrome(options=chrome_options)

browser.get(url+category[1]+'.jsp') # 필요한 카테고리별로

     for i in year_sel:
     		
         연도선택

         for i2 in month_sel:
         
         	월 선택

              for i3 in operate_sel:
              		
                   운항종류 선택

                   for i4 in route_sel:
                   
                   		노선 선택	
                       	검색버튼 클릭
                        
                        크롤링
                        데이터 csv로 저장

 

                     

 

공항데이터 완료 > 추후 노선별, 지역-국가별, 

 

 

IATA 코드 정리파일

https://community.tableau.com/s/question/0D54T00000C626xSAB/airport-codes-in-tableau-101

IATA 코드 적용

https://community.tableau.com/s/question/0D58b0000BU4123CQB/linking-geographic-dots-iata-codes-through-makeline

 

Tableau 연동법 gpt에 확인

https://chat.openai.com/share/dde290c6-5112-4e5b-a327-7645bd67f669

 

코로나 관련 Data 보완 

WHO Data의 백신 관련 데이터가 시계열 특성이 부족한듯함 / 보완필요

 

새로운 데이터 

https://ourworldindata.org/covid-cases