본 포스팅은 '데이터 품질'과 '데이터 다운타임'에 대해 설명하고, '데이터 품질'을 향상시키기 위한 방법들을 정리한 포스팅입니다. 1. 서론데이터는 오늘날의 비즈니스와 의사결정의 핵심 자원이라고 할 수 있다. 그러나 데이터의 품질 문제나 다운타임은 빈번하게 예기치 않은 오류와 혼란을 초래한다. 이 글에서는 데이터 품질과 다운타임이 무엇인지 알아보고, 데이터 품질 문제를 해결하고 다운타임을 줄이기 위한 주요 전략과 도구를 살펴보려고 한다. 데이터 엔지니어로 일하다보면 다음과 같은 상황을 마주할 때가 있다.👨💻 개발자: "쿼리 작업이 끝났습니다! 데이터 파이프라인도 다 구축했고요. 이제 필요한 데이터는 다 모인 거죠?"🧑💼 현업 부서 담당자: "어... 그런데 필요한 데이터가 누락된 것 같은데요..
Data Engineering/Data
데이터 엔지니어링 입문서로 추천되는 '빅데이터를 지탱하는 기술'에 대해 개인적인 생각으로 정리한 글입니다.데이터 엔지니어로서 업무를 시작하기 전과 시작한 후에 느끼는 점이 달라 정리하게 됐습니다. 잘못된 부분이 있다면 댓글로 알려주시면 감사하겠습니다.(출처 표기가 되지 않은 이미지는 모두 직접 그린 것이기 때문에 사용하실 때 반드시 출처를 남겨주시길 바랍니다.) 빅데이터를 지탱하는 기술 | 니시다 케이스케 - 교보문고빅데이터를 지탱하는 기술 | 다양한 IT 기술의 집합체 빅데이터, 그 기술의 내부를 파헤친다!컴퓨터의 성능 향상에 따라 점점 더 많은 것이 시스템화되어 좀 더 효율 높게 운용하는 시대가 되었product.kyobobook.co.kr이 책의 두 번째 장인 '빅데이터의 탐색' 부분에서는 크로스..
데이터 엔지니어링 입문서로 추천되는 '빅데이터를 지탱하는 기술'에 대해 개인적인 생각으로 정리한 글입니다.데이터 엔지니어로서 업무를 시작하기 전과 시작한 후에 느끼는 점이 달라 정리하게 됐습니다. 잘못된 부분이 있다면 댓글로 알려주시면 감사하겠습니다.(출처 표기가 되지 않은 이미지는 모두 직접 그린 것이기 때문에 사용하실 때 반드시 출처를 남겨주시길 바랍니다.) 빅데이터를 지탱하는 기술 | 니시다 케이스케 - 교보문고빅데이터를 지탱하는 기술 | 다양한 IT 기술의 집합체 빅데이터, 그 기술의 내부를 파헤친다!컴퓨터의 성능 향상에 따라 점점 더 많은 것이 시스템화되어 좀 더 효율 높게 운용하는 시대가 되었product.kyobobook.co.kr 이 책의 가장 첫 장인 '빅데이터의 기초 지식' 부분에서는..