[TIL]KDT_20230420

📚 KDT WEEK 3 DAY 4 TIL

• Selenium
  • 요소 찾기
  • wait and call

 

---

시작하기 전에, 이 과정에는 두 개의 라이브러리가 필요하다.

 

 

실행되지 않는다면, 항상 --upgrade를 통해 최신버전이 되어있는지 확인해보자!

 

---

 

🟥 Selenium

Python을 이용해서 웹 브라우저를 조작할 수 있는 자동화 프레임워크

# Selenium과 크롬 웹 드라이버를 사용한다.
from selenium import webdriver
from selenium.webdriver.chrome.service import Service
from webdriver_manager.chrome import ChromeDriverManager

#파이썬에서 크롬을 실행시킬 수 있다.
driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))

#실행시킨 크롬에서 해당 사이트로 이동(Request)
driver.get("https://www.example.com")

print(driver.page_source)

 

page_source를 찍어낸 결과(일부), html이 넘어온걸 확인할 수 있다.

 

이렇게 실행해보면, 자동으로 크롬 창이 열리고 입력한 URL(example.net)에 접속하게 된다.

하지만 실행이 끝난 뒤에도 크롬 창이 꺼지지 않고 유지되는걸 알 수 있다.

 

일정한 일을 수행한 뒤 자동으로 실행을 끄는 코드..

파이썬에는 비슷한 기능을 하는 강력한 구문이 있다.

 

with..as 구문을 활용한다!

with as 아래로 실행하고자 하는 구문을 작성한다.

 

여기서 한 가지를 더 추가해서 구문을 작성해보겠다.

어제 bs4에서 요소를 찾는 메소드가 있던것처럼, selenium에도 이 기능이 존재한다.

 

.find_element(by, target)

• by : 대상을 찾는 기준 : ID, TAG_NAME, CLASS_NAME ...
• target : 대상의 속성

여러 요소를 찾고 싶을 때는, .find_elements(by, target)을 사용한다.

 

from selenium.webdriver.common.by import By

#with..as 구문을 사용하여 print(x)까지 동작이 끝나면, 자동으로 크롬은 종료된다.
with webdriver.Chrome(service=Service(ChromeDriverManager().install())) as driver:
    driver.get("http://www.example.net")
    
    # p 태그 요소들을 모두 가져와서 해당 콘텐츠를 리스트 형태로 출력한다.
    pList = [x.text for x in driver.find_elements(By.TAG_NAME, "p")]
    for x in pList:
    	print(x)

위 코드의 결과. 많을줄 알았는데, 두 가지밖에 없었다.

 

---

 

XPath

스크래핑에 활용한 사이트 : https://indistreet.com/live?sortOption=startDate%3AASC 

 

항상하던 것처럼, 필요한 요소가 어디있는지 찾아보자..

 

어떤 공연의 제목의 위치를 봤더니, 클래스 이름이 특이하다.

 

요즘 웹사이트의 트렌드가 쉬운 스크래핑을 막기 위해 이러한 클래스 이름을 사용한다고 한다..

따라서 클래스의 이름이 아닌, XPath를 사용한다.

 

해당 태그를 오른쪽 마우스 클릭하고, Copy XPath를 하면..

 

가 복사됬음을 알 수있다.

 

이 XPath를 find_element 함수를 사용하여 가져오려고 하면..

이처럼 오류가 나타난다.

 

이유는 요청을 보낸 사이트가 동적 웹 사이트이기 때문에 사이트가 온전히 로딩하는 데에 시간이 걸리기 때문이다.

 

이때 selenium의 wait를 활용한다.

 

 

---

 

Implicit Wait

.implicitly_wait(시간) : '초' 단위의 숫자를 입력받아 해당 시간만큼 기다리도록 한다.

단, 그 시간을 모두 기다리는 것이 아니라 로딩이 되면 넘어간다!

 

implicit wait을 활용했더니, 내가 원했던 내용이 정상적으로 출력되었다.

 

Explicit Wait

이건 코드를 먼저 보고 설명하겠다.

#Explicit wait에 사용됨
from selenium.webdriver.support import expected_conditions as EC
from selenium.webdriver.support.ui import WebDriverWait

with webdriver.Chrome(service= Service(ChromeDriverManager().install())) as driver:
    driver.get("https://indistreet.com/live?sortOption=startDate%3AASC")
    
    #Explicit wait
    element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//*[@id="__next"]/div/main/div[2]/div/div[4]/div[1]/div[1]/div/a/div[2]/p[1]')))

    print(element.text)

먼저, Explicit Wait은 WebDriverWait() 메서드를 통해 이루어진다.

WebDriverWait(driver, 10)은 implicit wait처럼 10초의 한계 시간을 두는 것이다.

그리고 Explicit Wait의 역할을 해줄 두 메서드를 사용한다.

• until() : 어떠한 인자의 조건이 만족될 때까지
• until_not() : 어떠한 인자의 조건이 만족되지 않을 때까지

사용 예를 보면,

WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.ID, "target")))

와 같은 형태로 사용한다.

 

여기서 EC는 expected_conditions로, selenium에서 정의된 조건이다.

"~가 존재하면" 으로 이해하면 된다고 한다.

 

따라서, 위 코드는 "target이란 ID가 로딩될 때까지 기다려라. 단 10초까지만" 으로 이해하면 된다!

 

그래서.. 아까 implicit wait의 코드를 explicit wait으로 고쳐보면..

from selenium.webdriver.support import expected_conditions as EC

with webdriver.Chrome(service= Service(ChromeDriverManager().install())) as driver:
    driver.get("https://indistreet.com/live?sortOption=startDate%3AASC")
    
    #explicit wait
    element = WebDriverWait(driver, 10).until(EC.presence_of_element_located((By.XPATH, '//*[@id="__next"]/div/main/div[2]/div/div[4]/div[1]/div[1]/div/a/div[2]/p[1]')))

    print(element.text)

와 같이 작성하면 같은 결과가 나온다.

 

하나의 공연 제목뿐만 아니라, 여러개의 제목을 뽑으려면 어떡할까?

 

다른 제목들의 XPath를 알아보면 결과는 쉽다.

몇 개를 긁어보면, 어떠한 부분에서 차이가 있는지 알 수 있다.

이전에 해봤던 것처럼, for문을 활용하면 여러 제목들을 뽑아낼 수 있을 것이다!

 

---

마우스 이벤트 처리하기

네이버에서 로그인 버튼을 찾아 class 이름을 찾고, 그 버튼을 클릭하는 코드이다.

from selenium import webdriver
from selenium.webdriver import ActionChains
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from webdriver_manager.chrome import ChromeDriverManager

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
driver.get("https://www.naver.com/")
driver.implicitly_wait(5)

button  = driver.find_element(By.CLASS_NAME, "link_login")
ActionChains(driver).click(button).perform() # 그 버튼을 눌러라

가장 마지막 줄이 마우스 이벤트를 처리하는 내용이다.

ActionChains 메서드를 이용하여 어디의 어떤 버튼을 어떻게할지 정할 수 있다.

 

더블클릭, 홀드 등 더 많은 기능은 https://www.selenium.dev/documentation/webdriver/actions_api/mouse/ 에서 찾을 수 있다.

 

키보드 이벤트 처리하기

네이버에서 자동으로 로그인 화면으로 넘어가 아이디와 비밀번호를 입력하고 로그인을 시도하는 코드이다.

from selenium import webdriver
from selenium.webdriver import ActionChains
from webdriver_manager.chrome import ChromeDriverManager
from selenium.webdriver.common.actions.action_builder import ActionBuilder
from selenium.webdriver import Keys, ActionChains
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
import time

driver = webdriver.Chrome(service=Service(ChromeDriverManager().install()))
driver.get("https://www.naver.com/")
driver.implicitly_wait(3)

# 로그인 페이지로 넘어가기
button = driver.find_element(By.CLASS_NAME, "link_login")
ActionChains(driver).click(button).perform()
time.sleep(1)

# 아이디 입력
id_input = driver.find_element(By.ID, "id")
ActionChains(driver).send_keys_to_element(id_input, "idid1234").perform()
time.sleep(1)

# 비밀번호 입력
pw_input = driver.find_element(By.ID, "pw")
ActionChains(driver).send_keys_to_element(pw_input, "pwpw1234").perform()
time.sleep(1)

#로그인 버튼 누르기
loginButton = driver.find_element(By.ID, "log.login")
ActionChains(driver).click(loginButton).perform()

마우스 이벤트 처리와 원리는 비슷하다.

똑같이 ActionChains를 사용하지만, 이번엔 send_keys_to_element 메서드를 사용한다.

 

send_keys_to_element에 입력할 태그와 입력할 문자를 인자로 주고, perform() 메서드를 동작하면 된다.

클릭 외에 다른 동작은 https://www.selenium.dev/documentation/webdriver/actions_api/keyboard/ 참조!

 

마우스 클릭과 키보드 입력을 제어할 수 있으니, 네이버에서 로그인을 시도하는 코드를 작성했지만..

 

네이버는 호락호락하지 않았다..

 

어쨋든 사용하는 방법을 배우고 동작하는 것도 확인했으니 여기서 마무리! 👋

 

---