[TIL]KDT_20230418

📚 KDT WEEK 3 DAY 2 TIL

• HTTP
• HTML
• 윤리적으로 HTTP 통신하기

 

---

 

🟥 HTTP (Hypertext Transfer Protocol)

웹 상에서 정보를 주고받기 위한 약속

• 클라이언트에서 서버로 정보를 요청하는 것을 HTTP 요청(Request)라고 한다.
• 요청받은 Request에 응답하여 보내주는 것을 HTTP 응답(Response)라고 한다.
• HTTP 요청/응답에 대한 정보를 담는 Head와 내용물인 Body로 나뉜다
  • Head : 보내는 사람, 받는 사람.. 등의 요청/응답에 대한 정보
  • Body : 보내는 내용물

 

---

 

🟧 HTML

HTTP 응답의 Body, 웹 페이지를 그릴 때 사용되는 마크업 언어

• 웹 브라우저의 역할 : HTML 요청을 보내고 ➡ 받은 응답을 화면에 그려준다!
• HTML의 요소(element) : 태그 ➡ 여는 태그, 닫는 태그를 포함한 것이 하나의 요소
• 태그로 내용을 묶어 글의 형식을 지정하고, 그에 맞는 속성(attribute)을 가지기도 한다.
  
  • 웹 브라우저마다 지원하는 태그와 속성이 다르다!
• HTML안에서 어디에 있는지, 어떤 태그로 묶여있는지 원하는 내용을 찾는 것이 관건!

 

---

 

🟨 HTTP 통신하기

• get 메소드를 통해 특정 URL에 Request를 보낼 수 있다.

네이버에게서 응답을 받아 header를 출력했다.

 

• post 메소드를 통해 나의 정보를 전달하며 요청할 수 있다.
  • 사용한 사이트 : https://webhook.site/

payload에 전달할 정보를 넣고 webhook에 보내는 코드, 제대로 전달했다면 200을 출력한다.

 

webhook에서 정보를 잘 전달받았다!

 

---

 

🟩 윤리적으로 웹 스크래핑, 크롤링 진행하기

웹 스크래핑 : 웹 페이지들로부터 우리가 원하는 정보(특정 데이터)를 추출 ➡ 데이터 추출

• ex) 날씨 데이터 가져오기, 주식 데이터 가져오기..

웹 크롤링 : 크롤러(Crawler)를 이용해서 웹 페이지의 정보를 인덱싱 ➡ 데이터 색인

• URL을 타고다니며 반복적으로 데이터를 가져오는 과정
• ex) 검색 엔진의 웹 크롤러 

 

올바르게 HTTP 요청하기

• 웹 스크래핑/크롤링을 통해 어떤 목적을 달성하고자 하는가?
• 나의 웹 스크래핑/크롤링이 서버에 영향을 미치지는 않는가?

 

REP(Robot Exclusion Protocol) : 로봇 배제 프로토콜

robots.txt?

• 웹 사이트 및 웹 페이지를 수집하는 로봇들의 무단 접근을 방지하기 위해 만들어진 REP
• 일부 스팸 봇이나 가짜 클라이언트 로봇을 구별하기 위해 사용자 에이전트(user agent) 정보를 전달해야 한다
  • HTTP 헤더에 나의 브라우저 정보를 전달하여 웹 서버가 나를 진짜 사용자로 인식할 수 있도록 한다.

이처럼 사이트 URL 뒤에 /robots.txt를 추가하여 요청하면 해당 사이트의 robots.txt를 확인할 수 있다.

• User-agent : 규칙이 적용되는 대상 사용자 에이전트 ( * 는 모든 사용자를 가리킨다)
• Disallow : 크롤링을 금지할 웹 페이지 ( / 는 모든 요청을 의미한다 )
• Allow : 크롤링을 허용할 웹 페이지 ( /$ 는 모든 하위 수준 URL을 제외한 루트 URL을 의미한다 )

 

---

 

🟦 웹 브라우저가 HTML을 다루는 방법

DOM(Document Object Model)

html을 잘게 트리 형태로 나누어 파싱한 형태 (브라우저가 하는 일!)

• 각 노드를 객체로 생각하면 문서를 더욱 편리하게 관리할 수 있음!
• DOM Tree를 순회해서 특정 원소를 찾아내거나 추가, 변경할 수 있다 ➡ 동적으로 관리 가능

 

DOM의 예시

 

---

 

🤔 공부하면서 어려웠던 내용

REP에 대한 내용이 이해가 가지 않아서 robots.txt에 대한 정보를 더 찾아보게 되었다.

프로토콜이라고 하기엔 강제성이 없어 크롤러가 이를 무시할 수도 있다고 한다.

하지만 robots.txt를 적용해야 하는 이유는 몇가지 있었다.

1. 검색엔진 크롤러의 과도한 크롤링 및 요청으로 인한 과부하 방지
2. 크롤러의 Crawl budget(일일 요청 수)의 낭비를 방지하여 결과와 시간 손실 줄이기
3. 사이트맵의 위치를 제공하여 검색엔진에게 빠르게 발견될 수 있도록 만들기

이러한 이유로 거의 모든 사이트가 robots.txt를 적용하고 있다.

 

 

찾아보니 조금 재밌는 예시도 있었다  🤣

• 나이키와 에어비엔비의 robots.txt에는 브랜드 로고를 포함하고 있다.
• 구글은 humans.txt도 적용(?)하고 있다