[TIL]KDT_20230421

📚 KDT WEEK 3 DAY 5 TIL

• Seaborn
• WordCloud

 

---

 

🟥 Seaborn

파이썬의 시각화 라이브러리, matplotlib 기반으로 동작한다.

 

Lineplot과 Barplot의 구현에는 다음이 필요하다.

import seaborn as sns

보통 sns로 많이 줄인다고 한다.

 

Lineplot

한 줄이면 간단하게 그래프를 그릴 수 있다.

 

Barplot

막대 그래프도 간단히 그릴 수 있다.

그리고, 

import matplotlib.pyplot as plt

을 추가하면, 다음과 같이 라벨도 붙일 수 있다.

 

title, xlabel, ylabel 을 추가해준 모습.

크기도 조정할 수 있다.

 

---

 

공공사이트 데이터로 시각화해보기

 

사이트 : https://www.weather.go.kr/w/weather/forecast/short-term.do

단기예보 - 기상청 날씨누리

 

역시 항상 해왔던 것처럼, 사이트에서 필요한 정보를 검사해서.. 어떤 태그가 필요한지 조사한다.

저번에 몇 번해봤으니, 바로 코드로 작성해보았다.

from selenium import webdriver
from selenium.webdriver import ActionChains
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.actions.action_builder import ActionBuilder
from selenium.webdriver import Keys, ActionChains
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
import seaborn as sns
import matplotlib.pyplot as plt

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
driver.get("https://www.weather.go.kr/w/weather/forecast/short-term.do")

driver.implicitly_wait(2)

# 날짜 별 기온을 가져온다
temps = driver.find_element(By.ID, "my-tchart").text

# 필요없는 부분을 떼어내고, int형 배열로 저장해준다.
tList = [int(i) for i in temps.replace("℃","").split("\n")]

plt.ylim(min(tList) - 2, max(tList) + 2)
plt.title("Expected Temperature from now on")

# tList를 아까 배웠던 lineplot으로 표현!
sns.lineplot(
    x = [i for i in range(len(tList))],
    y = tList
)

plt.show()

 

여기서 id = "my-tchart" 인 태그를 가져와서 text를 모두 찍어냈음에도 온도만 구할 수 있었는데,

이건 사이트에서 본 태그에 작성한 내용이 그것 뿐이라 가능한 것임으로, 다른 개발에서는 조심해야 한다!

 

위 코드의 결과

 

잘 찍혀 나오는 것을 확인할 수 있다!

 

---

 

프로그래머스 태그 빈도수 시각화하기

 

활용한 사이트 주소 : https://qna.programmers.co.kr/

QnA | 프로그래머스 커뮤니티

 

이번에는 사이트 안의 질문 태그를 모아 빈도수를 시각화하는 실습을 해보았다.

 

from bs4 import BeautifulSoup
import requests
import time

user_agent = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"}
frequency = {} # "태그이름" : "빈도수" 로 활용

# 1 ~ 10페이지안에서 탐색
for i in range(1,11):

    res = requests.get("https://qna.programmers.co.kr/?page={}".format(i), user_agent)
    soup = BeautifulSoup(res.text, "html.parser")

    ul_tags = soup.find_all("ul", "question-tags")

    for ul in ul_tags:
        li_tags = ul.find_all("li")
        for li in li_tags:
            tag = li.text.replace("\n","")
            
            # frequency에 태그 키가 존재하지않으면 1, 존재하면 그 숫자에 + 1
            frequency[tag] = frequency.get(tag,0) + 1

    time.sleep(0.5)

print(frequency)

질문 태그가 ul에 question-tags로 존재한다는 걸 파악하고, frequency에 저장하는 코드이다.

 

코드의 이해에 몇 가지 필요한 내용을 적어보면,

• ul > li > text ➡ 태그
• tag안에 \n 으로 처리된 문구가 많아 replace로 없애두고, 필요한 부분만 남겨두었다.
• 사이트 과부하 방지를 위해 time.sleep을 적용하였다.

결과는..

엄~청 길었다

이 중에서 빈도 수별로 결과를 정리하고 막대그래프로 만들어보았다.

 

# 위 코드에서 이어진다.

from collections import Counter
import seaborn as sns
import matplotlib.pyplot as plt

counter  = Counter(frequency)
commonList = counter.most_common(10) 

# commonList가 (이름, 빈도수)의 이중 배열 형태이므로 x, y를 다음과 같이 나눈다
x = [e[0] for e in commonList]
y = [e[1] for e in commonList]

plt.figure(figsize=(15,5))
plt.title("Frequency of question in Hashcode")
plt.xlabel("Tag")
plt.ylabel("Frequency")
sns.barplot(x=x, y=y)

plt.show()

collections의 Counter를 사용하면 value의 숫자가 높은 것부터 차례로 가져올 수 있다.

commonList = counter.most_common(10)은 가장 높은 것부터 차례로 10개를 가져오는 것이다.

 

figure로 크기 조절이 없으면, x의 이름이 서로 겹쳐보인다.

 

깔끔하게 잘 나온다.

 

---

 

🟦 Wordcloud

파이썬의 텍스트 클라우드 라이브러리로, 텍스트 구름을 그릴 수 있다

 

진행하기전에 pip install wordcloud, pip install konlpy, java가 필요하다.

윈도우의 경우 설치후 JAVA_HOME의 Path 경로도 추가로 지정해줘야 wordcloud가 동작한다.

참고했던 블로그 : https://default-womyn.tistory.com/entry/konlpy-Okt-%EC%98%A4%EB%A5%98-No-JVM-shared-library-file-jvmdll-found

 

WordCloud를 만드는 방법은, 다음과 같은 순서로 진행한다

1. KoNLPy 라이브러리로 한국어 문장을 전처리
2. Counter를 이용해 빈도수 측정
3. WordCloud를 이용해 시각화

WordCloud를 진행하기 위한 요소..

---

# 시각화에 쓰이는 라이브러리
import matplotlib.pyplot as plt
from wordcloud import WordCloud

# 횟수를 기반으로 딕셔너리 생성
from collections import Counter

# 문장에서 명사를 추출하는 형태소 분석 라이브러리
from konlpy.tag import Hannanum

#WordCloud에 사용할 애국가 가사
national_anthem = """
동해물과 백두산이 마르고 닳도록
하느님이 보우하사 우리나라 만세
무궁화 삼천리 화려 강산
대한 사람 대한으로 길이 보전하세
남산 위에 저 소나무 철갑을 두른 듯
바람 서리 불변함은 우리 기상일세
무궁화 삼천리 화려 강산
대한 사람 대한으로 길이 보전하세
가을 하늘 공활한데 높고 구름 없이
밝은 달은 우리 가슴 일편단심일세
무궁화 삼천리 화려 강산
대한 사람 대한으로 길이 보전하세
이 기상과 이 맘으로 충성을 다하여
괴로우나 즐거우나 나라 사랑하세
무궁화 삼천리 화려 강산
대한 사람 대한으로 길이 보전하세
"""

---

 

애국가 가사안에서 형태소 분석 라이브러리 Hannanum을 통해 명사를 추출하는 코드이다.

hannanum = Hannanum()
nouns = hannanum.nouns(national_anthem)
words = [noun for noun in nouns if len(noun) > 1] #이, 화, 듯 등 한 글자 단어는 제외

 

이렇게하면 words에 배열형태로 동해물, 백두산, 하느님같은 단어들이 담기게 된다.

 

여기서 counter를 이용하여 각 단어의 개수를 세어두고, wordCloud로 표현한다!

import matplotlib as mpl
from matplotlib import font_manager, rc

counter = Counter(words) # 단어 수 세기

font_path = r"C:\Users\asd\Desktop\malgun.ttf" # 한글 깨짐 방지를 위한 폰트 추가
wordcolud = WordCloud(font_path= font_path) # 폰트 경로를 넣고 wordCloud 동작!

img = wordcolud.generate_from_frequencies(counter)
plt.imshow(img)

본래 한글이 나오지 않으니 폰트를 추가하여 출력하면..

잘 동작한다!

배경화면 색깔도 WordCloud 메소드에 background 인자를 추가하면 바꿀 수 있다.

 

+ 프로그래머스 질문의 단어 빈도수로 WordColud 만들기

---

import time
import requests
from bs4 import BeautifulSoup

#시각화 라이브러리
import matplotlib.pyplot as plt
from wordcloud import WordCloud
from collections import Counter
from konlpy.tag import Hannanum

user_agent = {"User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.97 Safari/537.36"}
questions = [] # 질문들이 담길 배열

# 1~5페이지 탐색
for i in range(1, 6):
    res = requests.get("https://hashcode.co.kr/?page={}".format(i), {"User-Agent": user_agent})
    soup = BeautifulSoup(res.text, "html.parser")

    parsed_datas = soup.find_all("li", "question-list-item")

    for data in parsed_datas:
        questions.append(data.h4.text.strip())

    time.sleep(0.5)
    
# 위에서 만든 questions 배열을 이용하여 WordCloud 만들기
words = []
hannanum = Hannanum()

# questions 배열안의 모든 단어들을 words 배열에 추가
for question in questions:
    nouns = hannanum.nouns(question)
    words += nouns
    
counter = Counter(words) # 단어이름 : 개수 만들기
wordcloud = WordCloud(
    font_path= r"C:/Users/asd/Desktop/malgun.ttf",
    background_color="white"
)

img = wordcloud.generate_from_frequencies(counter)

plt.imshow(img)

 

결과

---

---

 

🤔 공부하면서 어려웠던 내용

여러 군데에서 부딪쳤다..

윈도우라서 그런지 Path 설정에도 꼬이고, 한글 출력에도 꼬이고..

강의 듣는 시간보다 이걸 해결하는데 시간을 더 많이 쓴것같다ㅋㅋㅋ

결국 둘다 해결법은 간단했다.. 내가 자꾸 헤메었을 뿐ㅠ

그래도 의미있는 지표를 만들 수 있던 시간이라 재밌었다! 🤭