12/21 :: 개발 1

폴더별 가상환경 구축

https://mr-spock.tistory.com/19

Visual Studio Code 파이썬(Python) 가상개발환경(venv) 셋팅

https://shuka.tistory.com/22

[VSCode] VSCode에 Anaconda env 연결

 

코드 개발보다 가상환경 설정이 더 어려운 거 같은 느낌

 

 

 

 

---

설문응답

 

주제 : 워드 클라우드를 활용한 쇼핑 관련 데이터 시각화

 

기획목표

최근 1개월 내 쇼핑 관련 데이터를 워드 클라우드로 시각화하여, 소비자들의 검색 동향과 인기 트렌드를 한눈에 확인할 수 있도록 하기 위해 해당 프로그램을 기획하였습니다.

 

기능 : 1개월 내 쇼핑 12개 분야별 검색클릭 지수 시각화 / 상위 3개 분야 검색어별 트렌드 시각화  /분야별 인기검색어 1~100위 리스트업

 

동작방식

파이썬 환경에서 웹 데이터를 셀레니움, API를 통해 크롤링해 전처리한 이후, 순위별로 정렬하여 Wordcloud 이미지로 시각화는 방식으로 동작합니다.

 

라이브러리

selenium, chromedriver, pandas, numpy, matplotlib, seaborn, urllb.request, json, wordcloud, pir 등(작업하면서 필요하다면 추가될수도 있습니다.)

 

구현계획

1. 셀레니움 크롤링 :쇼핑 분야 12개별 검색어 1~100위 리스트업 / 
2. 네이버 API : 분야 12개별 검색클릭 지수 데이터 수집 / 
3. 네이버 API: 검색어별 통합 트렌드 데이터 수집 / 
4. 데이터 전처리 및 정제후 csv로 저장 /
5. csv 기반 워드클라우드 이미지 시각화(분야별 트렌드, 상위3개 구간별 검색량의 상대적 비율  ) / 
(+6. 여유된다면 Tableau 활용하여 Interactive Wordcloud 구현시도) 

---

구현방식 고민?

 

1. 분야별 검색지수 API > 3개분야 크롤링 > 검색어 API

데이터량 줄어둬 좋음

Tableau 구현 어려움

 

2.분야별 크롤링 > 분야별 검색지수 API > 검색어 API

Tableau 구현 가능

데이터량 많음

 

옵션을 위해 2번 선택

 

 

작업할때 dataframe 시각화용

https://meetup.nhncloud.com/posts/283

 

 

 

이거면 시각화 위해서 코랩 갈 필요없이 로컬에서 빠르게 실행가능

 

 

검색어 리스트 테이블을 정규표현식으로 동일하게 처리불가

검색어에 숫자가 있으면 제대로된 결과 안나옴

 

각 요소를 전부 찾는식으로 변경

 

 

마지막에 숫자열이 포함되어 있어 오류가 발생한줄 알았는데 아니였다

 

 

웹 데이터 크롤링 완료

 

---

Task 과제별 세부분할 및 리마인드

주요
셀레니움 크롤링 코드 작성 및 테스트 
API 크롤링 코드 작성 및 테스트
데이터 크롤링 및 정제(를 위한 EDA)까지  
워드 클라우드 구현



보조 
네이버 API 활용신청
가상환경 설정
데이터 랩 셀레니움 크롤링 가능여부 / 타이밍
데이터랩 index로 구성된 상품코드 dictionary 필요 *개발자 도구 들어가면 cat_id 확인가능 > 금방될듯
ㄴ 위 리스트 재활용하여 이미지 형태의 cloud 구현 방법 고안 

워드 클라우드 구현법 공부
Tableau Public 사용법 공부


개발일정
12/21 목 - 셀레니움 크롤링 완료
12/22 금 - API 로직 설계 / 워드 클라우드 구현 

12/23 토 ~ 12/25 월 - Tableau 활용 + 부족분 보완

12/26 화 - 발표?