주니어 데이터 엔지니어 우솨's 개발일지

데브코스 3차 프로젝트(금융상품 정보제공 대시보드)PPT : https://www.canva.com/design/DAGPJgP-kgk/AmjFK79E8MMdFXKCkULtSQ/view?utm_content=DAGPJgP-kgk&utm_campaign=designshare&utm_medium=link&utm_source=editorGithub : https://github.com/woosuha/invest_mana/tree/main프로젝트 보고서 링크  : https://ink-find-5d0.notion.site/3-760647c7f17446258d63cf7db25eb5d0?pvs=4

서울시 부동산 및 인프라 분석 Github : https://github.com/woosuha/seoul_realestate_info프로젝트 보고서 링크 : https://ink-find-5d0.notion.site/2-7de46c4c53aa4d9f955da9602f569926?pvs=4

학습 내용스파크를 활용한 타이타닉 생존자 예측모델 생성from pyspark.sql import SparkSessionspark = SparkSession \ .builder \ .appName("Titanic Classification via ML Pipeline and Model Selection") \ .getOrCreate()"""# 타이타닉 생존 예측 모델 만들기"""spark!wget https://s3-geospatial.s3-us-west-2.amazonaws.com/titanic.csv!ls -tldata = spark.read.csv('./titanic.csv', header=True, inferSchema=True)data.printSchema()data.show()d..

학습 내용SparkML 제공 알고리즘 - Classification :         - Logistic regression         - Decision tree         - Random forest         - Gradient-boosted tree - Regression :         - Linear regression         - Decision tree         - Random forest         - Gradien-boosted tree - Clustering :         - K-means         - LDA(Latent Dirichlet Allocation)         - GMM(Gaussian Mixture Model) - Collaborat..

학습 내용Dynamically optimizing skew joins : Skew된 조인을 효율적으로 처리하는 방법 Skew 파티션으로 인한 성능 문제를 해결하기 위함         - 한 두개의 오래 걸리는 태스크들로 인한 전체 Job/Stage 종료 지연         - disk spill이 발생한다면 더 느려지게 된다. - AQE에서의 해법         - skew 파티션의 존재 여부 파악         - skew 파티션을 작게 나누고 상대 조인 파티션을 중복하여 만들고 조인 수행 Dynamically optimizing skew joins 동작방식 Dynamically optimizing skew joins 환경변수(Spark 3.3.1) 파티션 관련 환경변수(Spark 3.3.1) - sp..

학습 내용Partition Pruning과 Execution Plan - Partition Pruning은 Logical Plan Optimization 단계에서 발생한다. Dynamic Partition Pruning이란? : 비 Partition 테이블에 적용된 필터링을 Partition 테이블에 적용해보는 것         - 작은 dimension테이블이라면 브로드캐스트 조인까지하면 더 좋다. - Dynamic Partition Pruning는 기본적으로 활성화 되어 있다.         - spark.sql.optimizer.dynamicPartitionPruning.enavled : True Repartition을 하는 이유 - 전체적으로 파티션의 수를 늘려 병렬성을 증가시키기 위해 - 굉장히..