전체 글

Kafka에서 Dead Letter Queue를 모니터링하는데 필요한 기본 개념을 정리한다.1. Dead Letter Queue(DLQ)란?DLQ의 개념Dead Letter Queue(DLQ)는 메시징 시스템에서 처리 실패한 메시지를 관리하는 보조 큐(Queue) 역할을 한다.Kafka, RabbitMQ, AWS SQS 같은 메시지 큐 시스템에서 많이 사용되며, 실패한 메시지를 따로 보관하여 재처리하거나 분석하는 역할을 한다. 메시지 처리 실패는 네트워크 장애, 메시지 손상, 대상 시스템의 비정상 상태 등 다양한 이유로 발생할 수 있다. 메시지가 정상적으로 전달되지 않을 경우, 대신 DLQ로 메시지를 redirect 시켜 유실되거나 무한 재시도되는 것을 방지한다. 이를 통해 주요 메시지 처리 흐름의 안정..

데이터 엔지니어 관점에서 '데이터 중심 애플리케이션 설계'를 위해 해당 책을 읽고, 여러 직군의 사람들과 스터디를 진행하게 됐습니다.책의 전체 내용을 단순히 나열식으로 정리하기보다는 아래의 방식으로 책을 정리해보려고 합니다.잘못된 부분이 있다면 댓글로 알려주시면 감사하겠습니다.  데이터 중심 애플리케이션 설계 | 마틴 클레프만 - 교보문고데이터 중심 애플리케이션 설계 | 데이터는 오늘날 시스템을 설계할 때 마주치는 많은 도전 과제 중에서도 가장 중심에 있다. 확장성, 일관성, 신뢰성, 효율성, 유지보수성과 같은 해결하기 어려product.kyobobook.co.kr1. 새롭게 배운 개념(New)🔹 데이터 시스템이란?📌 데이터 시스템(Data System)은 데이터를 저장하고, 처리하고, 전송하는 데 ..

본 포스팅은 글또에서 코드트리를 한 달 동안 직접 사용한 후 작성한 후기입니다.글또에서 '코드트리'를 약 한 달 정도 무료로 사용해 볼 수 있는 기회가 생겨 코드트리를 직접 사용해 보며 느낀 장단점 및 후기를 작성해보려고 한다. 코딩 테스트를 계속해서 준비하며 코드트리가 어떤 점에서 도움이 되었는지, 개선할 부분은 무엇인지 솔직한 찐찐후기를 정리해 봤다. 1. 코드트리를 사용하게 된 계기나는 꽤 오랫동안 알고리즘 스터디를 진행하면서 알고리즘 문제를 풀어왔는데, 거의 모든 플랫폼을 사용해 본 것 같다.가장 많은 문제를 풀었던 백준부터 프로그래머스, 리트코드, 해커랭크 등 다양한 플랫폼의 문제를 꾸준히 풀어왔다. 코드트리의 경우, 여러 플랫폼들과 비교했을 때 비교적 최근에 서비스를 시작했지만, 이미 삼성 오..

이번 포스트는 포텐데이 412에서 1등을 했던 테블리의 핵심 기능을 개발하며 겪었던 문제 및 트러블 슈팅을 다뤄보려고 한다.필요한 데이터 수집하기(티스토리)테블리는 이름 그대로 '테크 블로그 리포트'라는 서비스다.구체적으로는 블로그에 글을 발행하는 개발자들을 주 타겟으로 2024년 자신의 블로그에 대한 분석 및 연말 결산을 해주는 서비스이다.사용자로부터 블로그의 링크를 입력으로 받으면, 사용자가 '2024년 총 몇개의 글을 썼는지', '주로 어떤 요일에 글을 썼는지', '글 별 평균 글자수', '글별 코드블럭 수', '글별 이미지 개수' 등을 보여주기 위해 해당 블로그로부터 필요 데이터를 빠르게 수집해서 통계를 보여줘야 했다.이 때, 테블리에서 지원했던 플랫폼은 개발자들이 기술 블로그로 많이 사용하는 '..

2024년을 돌아보고, 2025년을 맞이하며 작성하는 뒤늦은 회고 및 다짐글입니다.2024년이 아홉수여서인지 유독 다사다난한 해였던 것 같다😂1월부터 12월까지를 돌아보기 위해 두 가지 회고 템플릿을 사용하여 월별로 사건사고(?) 및 당시의 감정들을 복기해 봤다.먼저 포텐데이를 함께했던 또글또글 팀원들 중 성윤님께서 진행한 판교 퇴근길 밋업 with 인프런 #10 연말회고에 다녀온 팀원이 공유해 준 템플릿을 사용했다.성윤님의 회고 템플릿으로 돌아본 2024년크게 시기별 회고, 기억에 남는 사건, 2024년이 어떤 해였는지, 올해의 깨달음과 25년 분기별 Action Item을 작성했다.해당 템플릿이 비교적 간단한 형식인데 이를 좀 더 구체화해보려고 했다. (물론 이 방식도 간단히 회고하기에 최고..!)..

프로젝트 배경퇴사 이후 막연하게 간단하더라도 실제 '서비스'를 개발, 운영하고 싶다는 생각을 가지고 있었다. 몇 가지 아이디어를 가지고 있었지만 '어디서부터 어떻게 개발해야 할까..' 라는 생각에 시작을 못 하고 있던 찰나 글또에서 1인 개발을 진행하고 있는 백엔드 개발자인 은찬님에게 무작정 상담을 요청했다.흔쾌히 혼자서 끙끙대던 사이드 프로젝트에 대한 고민도 들어주시고, 포텐데이라는 10일 간 서비스를 개발하는 해커톤을 소개해주셨다. 포텐데이는 비사이드의 프로그램 중 하나로 10일 동안 팀 매칭부터 기획, 개발까지 진행하는 온라인 해커톤이다.포텐데이에서 팀원들을 구할 수도 있었지만, 나는 좀 더 신원이 확실하고 의지가 있는 팀원들을 구하고자 글또에서 팀원을 찾기로 결정했다.당시 데이터 엔지니어링 경험만..