일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- Docker
- Kafka
- Spark Caching
- Spark SQL
- off heap memory
- Kubernetes
- disk spill
- 빅데이터
- k8s
- backfill
- colab
- mysql
- redshift
- etl
- KDT_TIL
- Spark 실습
- Speculative Execution
- Spark Partitioning
- Airflow
- AQE
- 데이터 파이프라인
- Salting
- Dag
- CI/CD
- spark executor memory
- topic
- aws
- DataFrame Hint
- Spark
- SQL
- Today
- Total
목록KDT_TIL (62)
JUST DO IT!
📚 KDT WEEK 4 DAY 5 TIL RelatedField 투표(Votes)기능 구현하기 Validation Testing 🟥 RelatedField Serializer에서 외래키로 연결된 다른 필드를 불러올 때, 어떤 옵션으로 가져올지 이 기능으로 정할 수 있다. 1. PrimaryKeyRealatedField questions = serializers.PrimaryKeyRelatedField(many=True, queryset=Question.objects.all()) PrimaryKey, 즉 id의 값을 보여준다. 2. StringRelatedField questions = serializers.StringRelatedField(many=True, read_only=True) # __str__..
📚 KDT WEEK 4 DAY 4 TIL User 추가 및 관리 postman 🟥 User 저번 학습에서 admin을 생성할 때, createsuperuser 라는 명렁어를 통해 shell에서 admin을 만들 수가 있었다. 이 admin은 하나의 User Model에 해당하는데, 이는 django.contrib.auth.models에 미리 정의되어 있는 모델이다. 이미 모델이 있으므로, 이를 Question 모델에 외래키로 넣어보았다. owner = models.ForeignKey('auth.User', related_name='questions', on_delete=models.CASCADE, null=True) User모델이 auth에 존재하므로 auth.User 형태로 작성해야 한다. 여기서 re..
📚 KDT WEEK 4 DAY 2 TIL Serializer ModelSerializer HTTP Methods GET POST PUT, DELETE APIView 🟥 Serializer 다음의 두 기능을 수행하는 기능 Serialize : 모델 인스턴스나 QuerySet 데이터를 JSON 형식의 파일로 변환하는 작업 Deserialize : JSON 형식의 데이터를 모델 인스턴스로 변환하는 작업 다시말해, Serializer는 우리가 Django에서 사용하는 파이썬 객체나 쿼리셋 같이 복잡한 객체들을 Rest API에서 사용할 간단한 JSON 형태로 변환해주는 기능이다! Rest API : 자원을 이름으로 구분하여 해당 자원의 상태를 주고 받는 모든 것(CRUD) DRF : Django REST Fra..
📚 KDT WEEK 4 DAY 2 TIL Django 뷰(views)와 템플릿(templates) 페이지 만들기 에러 처리하기, 방어하기 페이지 커스터마이징 🟥 뷰와 템플릿 polls/views.py에서 우리가 html을 그려주기 위해 render 기능을 활용해보자. from django.http import HttpResponse from .models import * from django.shortcuts import render # index.html을 그려주는 역할 Django 기능 def index(request): latest_question_list = Question.objects.order_by('-pub_date')[:5] context = {'questions' : latest_que..
📚 KDT WEEK 4 DAY 1 TIL Django Django 맛보기 Django Shell 사용한 환경 : 윈도우 터미널 + python 가상환경 + Django + VSC (Windows 10) 🟥 Django 데이터베이스 기반 웹 사이트 작성에 특화된 파이썬의 오픈 소스 웹 프레임워크 터미널의 가상환경에서 사용한 명령어 위주로 설명하겠다! django-admin startproject mysite : "mysite" 이름의 새로운 Django 프로젝트 생성하기 Visual Studio Code에서 생성된 mysite 폴더를 열어보면, 이미지처럼 .py 파일들이 많이 생성되어 있다. (polls 폴더 제외) python manage.py runserver : 서버를 구동하는 명령어 명령어 입력 후..
📚 KDT WEEK 3 DAY 4 TIL Selenium 요소 찾기 wait and call 시작하기 전에, 이 과정에는 두 개의 라이브러리가 필요하다. 실행되지 않는다면, 항상 --upgrade를 통해 최신버전이 되어있는지 확인해보자! 🟥 Selenium Python을 이용해서 웹 브라우저를 조작할 수 있는 자동화 프레임워크 # Selenium과 크롬 웹 드라이버를 사용한다. from selenium import webdriver from selenium.webdriver.chrome.service import Service from webdriver_manager.chrome import ChromeDriverManager #파이썬에서 크롬을 실행시킬 수 있다. driver = webdriver.Ch..
📚 KDT WEEK 3 DAY 3 TIL BeautifulSoup 활용한 HTML parsing 원하는 요소 가져오기 페이지네이션(Pagination) 동적 웹 페이지 🟥 BeautifulSoup4 HTML에서 원하는 요소를 추출하기 위해 사용할 HTML Parser soup = BeautifulSoup(res.text, "html.parser") requests로 가져온 res의 text를 파싱한다 html을 파싱할 것임으로 뒤의 인자에 "html.parser"를 선언한다. h1 = soup.find("h1") soup에서 특정 태그 요소를 찾을 수 있다. 이때, 태그가 같은 이름의 태그가 여러개라면 가장 첫 번째것을 가져온다. 모든 같은 이름의 태그가 필요하다면 find_all("h1")을 사용하자...
📚 KDT WEEK 3 DAY 1 TIL HTML/CSS HTML의 구조 레이아웃 콘텐츠 HTML (Hypertext Markup Language) : 웹 페이지 개발을 위해 개발된 마크업 언어 CSS (Cascading Style Sheets) : 웹 페이지를 꾸미기 위해 작성한 코드 🟥 HTML의 구조 # 문서 버전 # HTML 문서 시작 선언 및 문서 기본 언어 설정 # 실제 사용자가 눈으로 볼 수 있는 문서의 내용이 입력되는 곳 안녕하세요! html ➡ head ➡ title 는 부모 ➡ 자식의 구조를 가진다. 주석안에 주석은 작성 불가능 Language example : 이 부분은 제대로 출력되지 않습니다 # charset이 한글 미지원 : 문서 내용의 외형에 영향을 주는 태그 : 다른 파일의 ..
📚 KDT WEEK 2 DAY 5 TIL 코딩테스트 풀이와 알고리즘 학습 힙(Heap) 깊이, 너비 우선 탐색(DFS / BFS) 동적계획법(Dynamic Programming) 힙(Heap) 알고리즘 정렬(Heapsort)과 우선 순위 큐(priority queue)에 유용 최대, 최소 원소를 빠르게 찾는데 유용하다! 파이썬에 heapq 라이브러리를 통해 구현 가능 예시 코드 import heapq # Heap 라이브러리 def solution(scoville, K): answer = 0 heapq.heapify(scoville) # 특정 리스트를 힙으로 만듦 while True: # 아래 if 조건으로 반복 종료 min1 = heapq.heappop(scoville) # 힙 pop if min1 >=..
📚 KDT WEEK 2 DAY 4 TIL 코딩테스트 풀이와 알고리즘 학습 해시(Hash) 탐욕법(Greedy) 정렬(Sort) 해시(Hash) 알고리즘 Set, Dictionary를 활용하여 탐색 시간 복잡도를 O(1)로 효율적 이용 선형 배열에서는 숫자로 탐색하는 경우에 O(1)로 효율적일 수 있음 예시 문제 : 완주하지 못한 선수 더보기 def solution(participant, completion): dic = {} for i in participant: dic[i] = dic.get(i,0) + 1 for j in completion: dic[j] = dic.get(j,0) - 1 result = [x for x,y in dic.items() if y > 0] return result[0] 간..