일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- topic
- DataFrame Hint
- Spark Caching
- Speculative Execution
- Dag
- Airflow
- AQE
- mysql
- CI/CD
- KDT_TIL
- Docker
- Spark
- Spark SQL
- Spark 실습
- 빅데이터
- disk spill
- Kubernetes
- colab
- SQL
- k8s
- 데이터 파이프라인
- Kafka
- aws
- Spark Partitioning
- etl
- backfill
- spark executor memory
- off heap memory
- Salting
- redshift
- Today
- Total
목록전체 글 (67)
JUST DO IT!
📚 KDT WEEK 5 DAY 1 TIL 유튜브 데이터 크롤링
📚 KDT WEEK 4 DAY 5 TIL RelatedField 투표(Votes)기능 구현하기 Validation Testing 🟥 RelatedField Serializer에서 외래키로 연결된 다른 필드를 불러올 때, 어떤 옵션으로 가져올지 이 기능으로 정할 수 있다. 1. PrimaryKeyRealatedField questions = serializers.PrimaryKeyRelatedField(many=True, queryset=Question.objects.all()) PrimaryKey, 즉 id의 값을 보여준다. 2. StringRelatedField questions = serializers.StringRelatedField(many=True, read_only=True) # __str__..
📚 KDT WEEK 4 DAY 4 TIL User 추가 및 관리 postman 🟥 User 저번 학습에서 admin을 생성할 때, createsuperuser 라는 명렁어를 통해 shell에서 admin을 만들 수가 있었다. 이 admin은 하나의 User Model에 해당하는데, 이는 django.contrib.auth.models에 미리 정의되어 있는 모델이다. 이미 모델이 있으므로, 이를 Question 모델에 외래키로 넣어보았다. owner = models.ForeignKey('auth.User', related_name='questions', on_delete=models.CASCADE, null=True) User모델이 auth에 존재하므로 auth.User 형태로 작성해야 한다. 여기서 re..
📚 KDT WEEK 4 DAY 2 TIL Serializer ModelSerializer HTTP Methods GET POST PUT, DELETE APIView 🟥 Serializer 다음의 두 기능을 수행하는 기능 Serialize : 모델 인스턴스나 QuerySet 데이터를 JSON 형식의 파일로 변환하는 작업 Deserialize : JSON 형식의 데이터를 모델 인스턴스로 변환하는 작업 다시말해, Serializer는 우리가 Django에서 사용하는 파이썬 객체나 쿼리셋 같이 복잡한 객체들을 Rest API에서 사용할 간단한 JSON 형태로 변환해주는 기능이다! Rest API : 자원을 이름으로 구분하여 해당 자원의 상태를 주고 받는 모든 것(CRUD) DRF : Django REST Fra..
📚 KDT WEEK 4 DAY 2 TIL Django 뷰(views)와 템플릿(templates) 페이지 만들기 에러 처리하기, 방어하기 페이지 커스터마이징 🟥 뷰와 템플릿 polls/views.py에서 우리가 html을 그려주기 위해 render 기능을 활용해보자. from django.http import HttpResponse from .models import * from django.shortcuts import render # index.html을 그려주는 역할 Django 기능 def index(request): latest_question_list = Question.objects.order_by('-pub_date')[:5] context = {'questions' : latest_que..
📚 KDT WEEK 4 DAY 1 TIL Django Django 맛보기 Django Shell 사용한 환경 : 윈도우 터미널 + python 가상환경 + Django + VSC (Windows 10) 🟥 Django 데이터베이스 기반 웹 사이트 작성에 특화된 파이썬의 오픈 소스 웹 프레임워크 터미널의 가상환경에서 사용한 명령어 위주로 설명하겠다! django-admin startproject mysite : "mysite" 이름의 새로운 Django 프로젝트 생성하기 Visual Studio Code에서 생성된 mysite 폴더를 열어보면, 이미지처럼 .py 파일들이 많이 생성되어 있다. (polls 폴더 제외) python manage.py runserver : 서버를 구동하는 명령어 명령어 입력 후..
📚 KDT WEEK 3 DAY 5 TIL Seaborn WordCloud 🟥 Seaborn 파이썬의 시각화 라이브러리, matplotlib 기반으로 동작한다. Lineplot과 Barplot의 구현에는 다음이 필요하다. import seaborn as sns 보통 sns로 많이 줄인다고 한다. Lineplot Barplot 그리고, import matplotlib.pyplot as plt 을 추가하면, 다음과 같이 라벨도 붙일 수 있다. 공공사이트 데이터로 시각화해보기 사이트 : https://www.weather.go.kr/w/weather/forecast/short-term.do 단기예보 - 기상청 날씨누리 2023년 04월 21일 (금)요일 11:00 발표 (총괄예보관: 이시우) □ (종합) 오늘 ..
📚 KDT WEEK 3 DAY 4 TIL Selenium 요소 찾기 wait and call 시작하기 전에, 이 과정에는 두 개의 라이브러리가 필요하다. 실행되지 않는다면, 항상 --upgrade를 통해 최신버전이 되어있는지 확인해보자! 🟥 Selenium Python을 이용해서 웹 브라우저를 조작할 수 있는 자동화 프레임워크 # Selenium과 크롬 웹 드라이버를 사용한다. from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager #파이썬에서 크롬을 실행시킬 수 있다. driver = webdriver.Ch..
📚 KDT WEEK 3 DAY 3 TIL BeautifulSoup 활용한 HTML parsing 원하는 요소 가져오기 페이지네이션(Pagination) 동적 웹 페이지 🟥 BeautifulSoup4 HTML에서 원하는 요소를 추출하기 위해 사용할 HTML Parser soup = BeautifulSoup(res.text, "html.parser") requests로 가져온 res의 text를 파싱한다 html을 파싱할 것임으로 뒤의 인자에 "html.parser"를 선언한다. h1 = soup.find("h1") soup에서 특정 태그 요소를 찾을 수 있다. 이때, 태그가 같은 이름의 태그가 여러개라면 가장 첫 번째것을 가져온다. 모든 같은 이름의 태그가 필요하다면 find_all("h1")을 사용하자...
📚 KDT WEEK 3 DAY 2 TIL HTTP HTML 윤리적으로 HTTP 통신하기 🟥 HTTP (Hypertext Transfer Protocol) 웹 상에서 정보를 주고받기 위한 약속 클라이언트에서 서버로 정보를 요청하는 것을 HTTP 요청(Request)라고 한다. 요청받은 Request에 응답하여 보내주는 것을 HTTP 응답(Response)라고 한다. HTTP 요청/응답에 대한 정보를 담는 Head와 내용물인 Body로 나뉜다 Head : 보내는 사람, 받는 사람.. 등의 요청/응답에 대한 정보 Body : 보내는 내용물 🟧 HTML HTTP 응답의 Body, 웹 페이지를 그릴 때 사용되는 마크업 언어 웹 브라우저의 역할 : HTML 요청을 보내고 ➡ 받은 응답을 화면에 그려준다! HTML의..