목록Persist (1)

JUST DO IT!

Spark에서 데이터 Caching 하는 방법, 실습해보기! - TIL230725

📚 KDT WEEK 17 DAY 2 TIL Caching 이론 및 실습 Caching BestPractices 🎟 Caching 자주 사용되는 데이터프레임을 메모리에 유지하여 처리속도를 증가시키는 방법 하지만 메모리 소비를 증가시키므로 불필요하게 모든 걸 캐싱할 필요는 없다. DataFrame을 Caching하는 방법 cache()와 persist()를 사용하면 가능하고, 메모리나 디스크에 저장하게 된다. 모두 lazy execution에 해당하여 필요하기 전까지는 캐싱하지 않는다. caching은 항상 파티션 단위로 메모리에 보존되므로, 하나의 파티션이 부분적으로 캐싱되지는 않는다. 실습 1. .cache() 사용해서 데이터프레임 캐싱하기 # SparkSession available as 'spark'..
TIL 2023. 7. 25. 15:39
이전 Prev 1 Next 다음