일 | 월 | 화 | 수 | 목 | 금 | 토 |
---|---|---|---|---|---|---|
1 | 2 | 3 | 4 | |||
5 | 6 | 7 | 8 | 9 | 10 | 11 |
12 | 13 | 14 | 15 | 16 | 17 | 18 |
19 | 20 | 21 | 22 | 23 | 24 | 25 |
26 | 27 | 28 | 29 | 30 | 31 |
- spark executor memory
- etl
- k8s
- Spark SQL
- 빅데이터
- backfill
- redshift
- SQL
- Salting
- 데이터 파이프라인
- Docker
- topic
- disk spill
- Dag
- AQE
- Spark Caching
- Speculative Execution
- CI/CD
- Spark Partitioning
- Kubernetes
- Airflow
- DataFrame Hint
- KDT_TIL
- Kafka
- aws
- Spark
- mysql
- Spark 실습
- off heap memory
- colab
- Today
- Total
목록TIL (66)
JUST DO IT!
📚 KDT WEEK 3 DAY 1 TIL HTML/CSS HTML의 구조 레이아웃 콘텐츠 HTML (Hypertext Markup Language) : 웹 페이지 개발을 위해 개발된 마크업 언어 CSS (Cascading Style Sheets) : 웹 페이지를 꾸미기 위해 작성한 코드 🟥 HTML의 구조 # 문서 버전 # HTML 문서 시작 선언 및 문서 기본 언어 설정 # 실제 사용자가 눈으로 볼 수 있는 문서의 내용이 입력되는 곳 안녕하세요! html ➡ head ➡ title 는 부모 ➡ 자식의 구조를 가진다. 주석안에 주석은 작성 불가능 Language example : 이 부분은 제대로 출력되지 않습니다 # charset이 한글 미지원 : 문서 내용의 외형에 영향을 주는 태그 : 다른 파일의 ..
📚 KDT WEEK 2 DAY 5 TIL 코딩테스트 풀이와 알고리즘 학습 힙(Heap) 깊이, 너비 우선 탐색(DFS / BFS) 동적계획법(Dynamic Programming) 힙(Heap) 알고리즘 정렬(Heapsort)과 우선 순위 큐(priority queue)에 유용 최대, 최소 원소를 빠르게 찾는데 유용하다! 파이썬에 heapq 라이브러리를 통해 구현 가능 예시 코드 import heapq # Heap 라이브러리 def solution(scoville, K): answer = 0 heapq.heapify(scoville) # 특정 리스트를 힙으로 만듦 while True: # 아래 if 조건으로 반복 종료 min1 = heapq.heappop(scoville) # 힙 pop if min1 >=..
📚 KDT WEEK 2 DAY 4 TIL 코딩테스트 풀이와 알고리즘 학습 해시(Hash) 탐욕법(Greedy) 정렬(Sort) 해시(Hash) 알고리즘 Set, Dictionary를 활용하여 탐색 시간 복잡도를 O(1)로 효율적 이용 선형 배열에서는 숫자로 탐색하는 경우에 O(1)로 효율적일 수 있음 예시 문제 : 완주하지 못한 선수 더보기 def solution(participant, completion): dic = {} for i in participant: dic[i] = dic.get(i,0) + 1 for j in completion: dic[j] = dic.get(j,0) - 1 result = [x for x,y in dic.items() if y > 0] return result[0] 간..
📚 KDT WEEK 2 DAY 3 TIL 큐(Queue) 이진 트리(Binary Trees) 힙(Heaps) 큐(Queue)의 특징 선입선출(FIFO)의 자료 구조 "파이포" 라고도 부름 dequeue 연산의 시간 복잡도 효율을 위해 선형 배열보다 연결리스트가 유리 환형 큐(Circular Queues)의 특징 큐의 데이터 사이즈를 제한해두고, 한쪽 끝과 다른 쪽 끝이 맞닿은 형태 선형 배열로도 효과적으로 구현 가능 우선순위 큐(Priority Queues)의 특징 enqueue 연산에 우선순위 순서대로 큐에 데이터를 삽입 dequue 연산에서 우선순위가 높은 것을 선택할 수도 있겠지만, 이 경우 매 번 O(n) 소요 운영체제에서 CPU 스케줄러를 구현할 때 활용됨 이진 트리(Binary Trees)의 ..
📚 KDT WEEK 2 DAY 2 TIL 연결리스트(Linked List) 스택(Stack) 후위 표기 수식 연결리스트의 장단점 원소의 삽입, 삭제가 선형 배열의 경우보다 쉽다. 선형 배열의 구조보다 구조 표현에 소요되는 저장 공간의 소요가 크다. 특정 원소를 참조하는 경우 선형 배열의 경우보다 느리다. O(n) 양방향 연결 리스트 (Doubly Linked Lists)의 특징 head와 tail에 각각 dummy node를 하나씩 가진다. 당연히 일반 연결리스트보다 메모리 사용량이 늘어난다. 하지만 더 효율적이고 빠른 탐색이 가능하다. 스택(Stack) 후입선출(LIFO) 방식의 자료구조 수식의 후위 표기법(Postfix Notation) 괄호없이 연산의 우선순위를 표현 가능한 방법으로써, 연산자가 뒤..
📚 KDT 2주차 1일 TIL 코딩테스트 특강 라이브세션 수강 자료구조/알고리즘 수업 학습 (리스트의 정렬, 탐색, 재귀 알고리즘) 코딩테스트 특강 현실 문제 해결을 위한 알고리즘 훈련 + 제한 시간안에 작성 및 디버깅 >> 꾸준한 연습! 코딩테스트 문제를 보고 적합한 자료구조와 알고리즘을 떠올리는 것이 핵심 같은 문제의 해결에서도 선택한 자료구조에 따라 알고리즘이 다르다 알고리즘을 일일이 외우지말고 그 흐름을 이해하고 따라가기 리스트의 연산자 속도 .append(), .pop() : 리스트의 길이에 관계없이 빠르게 처리 .insert(), .del() : 리스트의 길이에 비례한 시간으로 처리 재귀 알고리즘 같은 알고리즘을 반복적으로 적용함으로써 풀이 무한히 반복하는 것을 막기위해 종결 조건(trivia..