멜로밍 랭킹

여러 방송 플랫폼의 실시간 데이터를 수집·분석하는 스트리머 랭킹 서비스

개요

치지직, SOOP, 씨미 등 여러 방송 플랫폼의 실시간 방송과 채팅 데이터를 수집·분석해 스트리머 랭킹과 통계를 제공하는 서비스입니다. 기간 : 2025년 6월 ~ 2026년 8월 중 운영 회사 : 디와이랩스 담당 범위 : 제품 기획, Backend, Data Platform, Infrastructure

주요 기술 스택

Backend & Data

Go, PostgreSQL, Redis Streams, ClickHouse

Frontend

Next.js, TypeScript

Infrastructure

Kubernetes, KEDA, Prometheus, Grafana, Loki

상세 설명

프로젝트 설명

방송 플랫폼마다 서로 다른 실시간 데이터 수집 방식을 하나의 파이프라인으로 통합하고, 수집한 방송과 채팅 데이터를 랭킹과 분석에 활용할 수 있도록 분산 데이터 플랫폼을 구축했습니다.

운영 규모

최대 11,400개 채널을 동시에 수집하고 일평균 1,700만 건, 피크 2,100 msg/s의 채팅을 처리했습니다.

평상시 14~16개 Pod에서 피크 32개 Pod까지 자동 확장하도록 운영했습니다.

기술적 챌린지

Discovery, Coordinator, Worker로 역할을 분리해 플랫폼별 채널 탐색과 작업 분배, 실제 수집 워크로드를 독립적으로 확장할 수 있게 설계했습니다.

Redis Streams는 실시간 이벤트 전달에, PostgreSQL은 제어 상태 관리에, ClickHouse는 대규모 분석에 사용했습니다.

KEDA와 Kubernetes를 이용해 트래픽 변화에 따라 수집 Worker가 자동으로 확장되도록 구성하고 관측 환경을 함께 구축했습니다.