전체 글

문제난이도: 플레티넘 514003번: 가장 긴 증가하는 부분 수열 5 수열 A가 주어졌을 때, 가장 긴 증가하는 부분 수열을 구해야 한다.예를 들어, 수열 A = {10, 20, 10, 30, 20, 50} 인 경우에 가장 긴 증가하는 부분 수열은 A = {10, 20, 10, 30, 20, 50} 이고, 길이는 4이다. 다음과 같이 가장 긴 증가하는 부분 수열 시리즈가 있다.LIS (Longest Increasing Subsequence) 알고리즘은 가장 긴 증가하는 부분 수열을 찾는 문제를 해결하는 알고리즘으로 주어진 수열에서 순서를 유지하면서, 원소들이 증가하는 부분 수열 중 가장 긴 수열을 찾아내는 것을 목표로 한다. 만약 해당 알고리즘이 생소하다면 위 시리즈를 순서대로 풀어보는 것을 추천한다.알..

본 포스팅은 '데이터 품질'과 '데이터 다운타임'에 대해 설명하고, '데이터 품질'을 향상시키기 위한 방법들을 정리한 포스팅입니다. 1. 서론데이터는 오늘날의 비즈니스와 의사결정의 핵심 자원이라고 할 수 있다. 그러나 데이터의 품질 문제나 다운타임은 빈번하게 예기치 않은 오류와 혼란을 초래한다. 이 글에서는 데이터 품질과 다운타임이 무엇인지 알아보고, 데이터 품질 문제를 해결하고 다운타임을 줄이기 위한 주요 전략과 도구를 살펴보려고 한다. 데이터 엔지니어로 일하다보면 다음과 같은 상황을 마주할 때가 있다.👨‍💻 개발자: "쿼리 작업이 끝났습니다! 데이터 파이프라인도 다 구축했고요. 이제 필요한 데이터는 다 모인 거죠?"🧑‍💼 현업 부서 담당자: "어... 그런데 필요한 데이터가 누락된 것 같은데요..

이 글은 Spark의 Data Skew 문제를 해결하기 위해 시도했던 방법과 이후 Suffyan Asad님의 글을 기반으로 학습한 방법을 적용해 그 결과를 비교 및 분석한 포스팅입니다.한국어 번역 및 재구성에 대해 저자의 허락을 받았습니다.1. Introduction이번 포스팅은 Apache Spark에서 Data Skew를 감지하고 처리하는 방법에 대해 설명하며 다음의 주제에 대해 살펴본다.Data Skew란 무엇이고, Spark 작업의 성능에 어떤 영향을 미치는지, 특히 조인 작업의 데이터 스큐를 중심으로 설명한다.Spark UI를 사용하여 Data Skew 확인하는 방법최신 버전의 Spark에서 제공되는 기본 최적화 기능과 데이터 변경을 사용하여 Data skew를 처리하는 몇 가지 예제 Data ..

본 포스팅은 글또를 시작하며 OT 이후 활동기간 동안 얻고자 하는 경험들이 무엇인지, 어떻게 참여할 것인지 스스로 다짐하는 글입니다. 글또가 뭔데?네트워킹이나 글쓰기에 관심이 있는 개발자라면 알겠지만, 글또는 '글쓰는 또라이'라는 다소 과격한(?) 이름의 글 쓰는 개발자 모임이다.즉, "개발자들의 글쓰기 역량을 강화하고, 글을 꾸준히 쓸 수 있도록 돕는 커뮤니티"이다.글또는 2018년 2월 1기를 시작으로 현재는 마지막 기수인 10기가 됐다.이전부터 지원해야지 마음만 먹다가 마지막 기수 모집인 걸 알고 한 번도 참여하지 못하면 분명 후회할 게 뻔해 '삶의 지도'를 작성해 지원했다.  글또는 6개월 간의 글쓰기 모임인만큼 자신이 어떤 사람이고 어떤 성격을 가지고 있고, 어떤 사건으로 지금의 내가 되었는가에..

Amazon EMR의 아키텍처를 개인적으로 정리하기 위해 작성한 포스팅입니다. 잘못된 내용이 있으면 댓글로 남겨주시면 감사하겠습니다!   Overview of Amazon EMR architecture - Amazon EMROverview of Amazon EMR architecture Amazon EMR service architecture consists of several layers, each of which provides certain capabilities and functionality to the cluster. This section provides an overview of the layers and the components of each. Storagdocs.aws.amazon.c..

Amazon EMR의 대략적인 개념을 정리하기 위해 작성한 포스팅입니다. 잘못된 내용이 있으면 댓글로 남겨주시면 감사하겠습니다!  Overview of Amazon EMR - Amazon EMROverview of Amazon EMR This topic provides an overview of Amazon EMR clusters, including how to submit work to a cluster, how that data is processed, and the various states that the cluster goes through during processing. Understanding clusters and nodes Tdocs.aws.amazon.comWhat is Amazon ..