“📚[Backend Development] 샤딩(Sharding)”

✅1️⃣ 샤딩(Sharding)이란?

• 샤딩은 하나의 데이터베이스를 여러 개의 노드(서버)로 나누어 저장하는 기술입니다.
• 즉, 데이터를 여러 개의 작은 데이터베이스(샤드, Shard)로 분할하여 저장하고, 분산된 데이터베이스를 하나의 시스템처럼 동작하도록 만드는 방법입니다.

💡 샤딩의 목적.

• ✅ 수평 확장(Scale-Out) : 서버를 추가하여 성능을 확장할 수 있습니다.
• ✅ 데이터 처리 속도 향상 : 특정 샤드에서만 데이터를 처리하므로 성능 향상.
• ✅ 부하 분산(Load Balancing) : 트래픽을 여러 서버에 분산할 수 있습니다.

✅2️⃣ 샤딩의 종류.

• 샤딩 방법에는 여러 가지 방식이 있으며, 대표적으로 다음과 같은 방식들이 있습니다.

1️⃣ 범위 샤딩 (Range Sharding)

📌 개념

• 데이터를 특정 범위에 따라 나누어 저장하는 방식
• 예를 들어, user_id 또는 날짜(date)를 기준으로 일정 범위별로 나누는 방법

✅ 장점

• 설계가 단순하고 직관적임
• 특정 범위의 데이터를 조회할 때 빠름

❌ 단점

• 특정 샤드에 부하가 집중될 수 있음 (Hotspot 문제)
• 데이터가 불균형하게 분포될 가능성이 있음

📝 예제

-- Shard 1 (User ID 1 ~ 10000)
INSERT INTO users_shard_1 VALUES (1001, 'Alice');

-- Shard 1 (User ID 10001 ~ 20000)
INSERT INTO users_shard_2 VALUES (15001, 'Bob')

🙋‍♂️ 사용 사례

• 사용자 ID 범위별 샤딩
  • 1~10만번 유저 → Shard 1
  • 10만~20만 유저 ➞ Shard 2
• 날짜 기준 샤딩
  • 2023년 데이터 ➞ Shard 1
  • 2024년 데이터 ➞ Shard 2

2️⃣ 해시 샤딩 (Hash Sharding)

📌 개념

• 데이터를 특정 키(예: user_id)에 해시 함수를 적용하여 샤드에 배정하는 방식
• 예: Shard = Hash(user_id) % 3 (3개의 샤드가 있을 경우)

✅ 장점

• 균등한 데이터 분배 가능 (Hotspot 문제 해결)
• 특정 샤드에 데이터가 집중되지 않음

❌ 단점

• 특정 샤드에 범위 검색(Range Query)이 어려움
• 조인(Join) 연산이 어려움

📝 예제

-- 해시 함수 적용 (user_id % 3)
INSERT INTO users_shard_1 VALUES (1001, 'Alice'); -- 1001 % 3 = 1번 샤드
INSERT INTO users_shard_2 VALUES (15001, 'Bob'); -- 15001 % 3 = 2번 샤드
INSERT INTO users_shard_0 VALUES (23001, 'Charlie'); -- 23001 % 3 = 0번 샤드

🙋‍♂️ 사용 사례

• 랜덤한 데이터 분산이 필요한 경우 (예: 유저 로그인 정보, 세션 데이터)
• 트래픽 균형 유지가 중요한 시스템 (예: 글로벌 서비스, 결제 시스템)

3️⃣ 리스트 샤딩 (List Sharding)

📌 개념

• 특정 기준(예: 국가, 지역, 언어 등)에 따라 데이터를 나누어 저장하는 방식
• 예시
  • Korea 데이터 ➞ Shard 1
  • USA 데이터 ➞ Shard 2

✅ 장점

• 특정 그룹의 데이터를 빠르게 검색할 수 있음
• 특정 지역/카테고리에 최적화 가능

❌ 단점

• 특정 샤드가 과부하될 가능성이 있음 (예: Korea는 100만 명, Brazil은 10만 명)

📝 예제

-- Korean Users ➞ Shard 1
INSERT INTO users_korea VALUES (1001, 'Alice', 'Korea');

-- USA Users ➞ Shard 2
INSERT INTO users_usa VALUES (2001, 'Bob', 'USA');

🙋‍♂️ 사용 사례

• 국가별 사용자 데이터 저장 (예: 한국 ➞ Shard 1, 미국 ➞ Shard 2)
• 지역별 상품 데이터 저장 (예: 서울 ➞ Shard 1, 부산 ➞ Shard 2)

4️⃣ 동적 샤딩 (Dynamic Sharding)

📌 개념

• 사용자의 수요에 따라 자동으로 샤드를 확장하는 방식
• 기존 샤딩 방법과 달리 사전에 샤드를 미리 정의하지 않음
• 데이터가 증가하면 자동으로 새로운 샤드 추가

✅ 장점

• 데이터 양이 늘어나도 쉽게 확장 가능 (Auto-Scaling)
• 특정 샤드가 과부하될 경우 자동으로 데이터 재분배 가능

❌ 단점

• 데이터 이동 (Rebalancing) 시 오버헤드 발생
• 구현이 복잡하고, 추가적인 관리 시스템 필요

📝 예제

• CockroachDB, Google Spanner, TiDB 같은 시스템에서 자동으로 동적 샤딩을 지원

🙋‍♂️ 사용 사례

• 클라우드 기반 확장형 데이터베이스 (예: AWS Aurora, Google Spanner)
• 데이터가 빠르게 증가하는 대규모 시스템

✅3️⃣ 결론

• ✅ 샤딩은 시스템 성능 향상과 확장성을 위한 필수 기술
• ✅ 해시 샤딩은 균등한 데이터 분배에 유리하지만, 범위 검색이 어려움
• ✅ 범위 샤딩은 특정 범위 검색에 유리하지만, Hotspot 문제가 발생할 수 있음
• ✅ 클라우드 기반에서는 동적 샤딩이 점점 중요해지고 있음