사가 패턴: 마이크로서비스를 위한 분산 트랜잭션 구현

마이크로서비스의 세계에서는 여러 서비스에 걸쳐 데이터 일관성을 유지하는 것이 상당한 과제가 될 수 있습니다. 모놀리식 애플리케이션에서 흔히 사용되는 전통적인 ACID(원자성, 일관성, 고립성, 지속성) 트랜잭션은 분산 환경에는 적합하지 않은 경우가 많습니다. 바로 이 지점에서 사가 패턴이 등장하여 분산 트랜잭션을 관리하고 마이크로서비스 전반에 걸쳐 데이터 무결성을 보장하는 강력한 솔루션을 제공합니다.

사가 패턴이란 무엇인가?

사가 패턴은 여러 마이크로서비스에 걸쳐 일련의 로컬 트랜잭션을 관리하는 데 사용되는 디자인 패턴입니다. 이는 최종적 일관성(eventual consistency)을 달성하는 방법을 제공하는데, 이는 데이터가 일시적으로는 일관되지 않을 수 있지만 결국에는 일관된 상태로 수렴된다는 것을 의미합니다. 여러 서비스에 걸친 단일 원자적 트랜잭션에 의존하는 대신, 사가 패턴은 트랜잭션을 각기 단일 서비스에 의해 수행되는 더 작고 독립적인 일련의 트랜잭션으로 분해합니다.

사가 내의 각 로컬 트랜잭션은 단일 마이크로서비스의 데이터베이스를 업데이트합니다. 만약 트랜잭션 중 하나가 실패하면, 사가는 선행 트랜잭션에 의해 이루어진 변경 사항을 되돌리기 위해 일련의 보상 트랜잭션(compensating transactions)을 실행하여 전체 작업을 효과적으로 롤백합니다.

왜 사가 패턴을 사용하는가?

몇 가지 요인들이 사가 패턴을 마이크로서비스 아키텍처에서 트랜잭션을 관리하는 데 유용한 도구로 만듭니다:

• 분리(Decoupling): 사가는 마이크로서비스 간의 느슨한 결합을 촉진하여, 다른 서비스에 영향을 주지 않고 독립적으로 발전할 수 있도록 합니다. 이는 마이크로서비스 아키텍처의 핵심 이점입니다.
• 확장성(Scalability): 오래 지속되는 분산 트랜잭션을 피함으로써 사가는 확장성과 성능을 향상시킵니다. 각 마이크로서비스는 자체 트랜잭션을 독립적으로 처리할 수 있어 경합을 줄이고 처리량을 높입니다.
• 탄력성(Resilience): 사가는 장애에 탄력적으로 대처하도록 설계되었습니다. 트랜잭션이 실패하면 사가를 롤백하여 데이터 불일치를 방지하고 시스템이 일관된 상태를 유지하도록 보장할 수 있습니다.
• 유연성(Flexibility): 사가 패턴은 여러 서비스에 걸친 복잡한 비즈니스 프로세스를 관리하는 데 유연성을 제공합니다. 이를 통해 트랜잭션의 순서와 실패 시 취해야 할 보상 조치를 정의할 수 있습니다.

ACID 대 BASE

ACID와 BASE(Basically Available, Soft state, Eventually consistent)의 차이점을 이해하는 것은 사가 패턴 사용 여부를 결정할 때 매우 중요합니다.

• ACID (원자성, 일관성, 고립성, 지속성): 트랜잭션이 안정적으로 처리됨을 보장합니다. 원자성은 트랜잭션 내의 모든 작업이 성공하거나 아무것도 성공하지 않음을 보장합니다. 일관성은 트랜잭션이 데이터베이스를 하나의 유효한 상태에서 다른 유효한 상태로 변환함을 보장합니다. 고립성은 동시 트랜잭션이 서로 간섭하지 않음을 보장합니다. 지속성은 트랜잭션이 커밋되면 시스템 장애가 발생하더라도 유지됨을 보장합니다.
• BASE (기본적 가용성, 소프트 상태, 최종적 일관성): 이는 분산 시스템을 위해 설계된 다른 접근 방식입니다. 기본적 가용성(Basically Available)은 시스템이 대부분의 시간 동안 사용 가능함을 의미합니다. 소프트 상태(Soft state)는 시스템의 상태가 입력 없이도 시간이 지남에 따라 변할 수 있음을 의미합니다. 최종적 일관성(Eventually consistent)은 시스템이 입력을 멈추면 결국 일관된 상태가 될 것임을 의미합니다. 사가 패턴은 BASE 원칙과 일치합니다.

두 가지 주요 사가 구현 전략

사가 패턴을 구현하는 두 가지 주요 방법이 있습니다: 코레오그래피(Choreography)와 오케스트레이션(Orchestration)입니다.

1. 코레오그래피 기반 사가

코레오그래피 기반 사가에서는 각 마이크로서비스가 다른 마이크로서비스에서 발행하는 이벤트를 수신하고 그에 따라 반응함으로써 사가에 참여합니다. 중앙 오케스트레이터가 없으며, 각 서비스는 자신의 책임과 언제 행동을 수행해야 하는지 알고 있습니다.

작동 방식:

1. 사가는 마이크로서비스가 트랜잭션의 시작을 나타내는 이벤트를 발행할 때 시작됩니다.
2. 다른 마이크로서비스는 이 이벤트를 구독하고, 이벤트를 수신하면 자신의 로컬 트랜잭션을 수행합니다.
3. 트랜잭션을 완료한 후, 각 마이크로서비스는 작업의 성공 또는 실패를 나타내는 또 다른 이벤트를 발행합니다.
4. 다른 마이크로서비스는 이러한 이벤트를 수신하고, 사가의 다음 단계로 진행하거나 오류 발생 시 보상 트랜잭션을 시작하는 등 적절한 조치를 취합니다.

예시: 전자상거래 주문 (코레오그래피)

1. 주문 서비스: 새로운 주문 요청을 받고 `OrderCreated` 이벤트를 발행합니다.
2. 재고 서비스: `OrderCreated`를 구독합니다. 이벤트를 수신하면 재고를 확인합니다. 재고가 충분하면 상품을 예약하고 `InventoryReserved`를 발행합니다. 부족하면 `InventoryReservationFailed`를 발행합니다.
3. 결제 서비스: `InventoryReserved`를 구독합니다. 이벤트를 수신하면 결제를 처리합니다. 성공하면 `PaymentProcessed`를 발행하고, 실패하면 `PaymentFailed`를 발행합니다.
4. 배송 서비스: `PaymentProcessed`를 구독합니다. 이벤트를 수신하면 배송을 준비하고 `ShipmentPrepared`를 발행합니다.
5. 주문 서비스: `ShipmentPrepared`를 구독합니다. 이벤트를 수신하면 주문을 완료된 것으로 표시합니다.
6. 보상: `PaymentFailed` 또는 `InventoryReservationFailed`가 발행되면, 다른 서비스들은 이를 수신하고 보상 트랜잭션(예: 예약된 재고 해제)을 수행합니다.

코레오그래피의 장점:

• 단순성: 간단한 워크플로우에 대해 구현하기가 더 쉽습니다.
• 분산형: 느슨한 결합과 마이크로서비스의 독립적인 발전을 촉진합니다.

코레오그래피의 단점:

• 복잡성: 사가 참여자 수가 증가함에 따라 관리하기 복잡해질 수 있습니다.
• 가시성: 사가의 전체 진행 상황과 상태를 추적하기 어렵습니다.
• 결합: 느슨한 결합을 촉진하지만, 서비스는 여전히 다른 서비스에서 발행하는 이벤트를 인지해야 합니다.

2. 오케스트레이션 기반 사가

오케스트레이션 기반 사가에서는 중앙 오케스트레이터(종종 전용 서비스나 상태 기계로 구현됨)가 사가를 관리하고 참여하는 마이크로서비스의 로컬 트랜잭션 실행을 조정합니다. 오케스트레이터는 각 서비스에 무엇을 언제 해야 하는지 지시합니다.

작동 방식:

1. 클라이언트가 오케스트레이터에게 트랜잭션 시작을 요청하면 사가가 시작됩니다.
2. 오케스트레이터는 참여 마이크로서비스에 로컬 트랜잭션을 수행하라는 명령을 보냅니다.
3. 각 마이크로서비스는 트랜잭션을 수행하고 성공 또는 실패를 오케스트레이터에게 알립니다.
4. 결과에 따라 오케스트레이터는 다음 단계로 진행할지 또는 보상 트랜잭션을 시작할지 결정합니다.

예시: 전자상거래 주문 (오케스트레이션)

1. 주문 오케스트레이터: 새로운 주문 요청을 받습니다.
2. 주문 오케스트레이터: 재고 서비스에 상품을 예약하라는 명령을 보냅니다.
3. 재고 서비스: 상품을 예약하고 주문 오케스트레이터에게 알립니다.
4. 주문 오케스트레이터: 결제 서비스에 결제를 처리하라는 명령을 보냅니다.
5. 결제 서비스: 결제를 처리하고 주문 오케스트레이터에게 알립니다.
6. 주문 오케스트레이터: 배송 서비스에 배송을 준비하라는 명령을 보냅니다.
7. 배송 서비스: 배송을 준비하고 주문 오케스트레이터에게 알립니다.
8. 주문 오케스트레이터: 주문을 완료된 것으로 표시합니다.
9. 보상: 어떤 단계든 실패하면 주문 오케스트레이터는 관련 서비스에 보상 명령(예: 예약된 재고 해제)을 보냅니다.

오케스트레이션의 장점:

• 중앙 집중식 제어: 중앙 지점에서 사가를 관리하고 모니터링하기가 더 쉽습니다.
• 향상된 가시성: 오케스트레이터는 사가의 전체 진행 상황과 상태에 대한 명확한 뷰를 제공합니다.
• 결합 감소: 마이크로서비스는 오케스트레이터와만 통신하면 되므로 서비스 간의 직접적인 종속성이 줄어듭니다.

오케스트레이션의 단점:

• 복잡성: 특히 간단한 워크플로우의 경우 초기에 구현하기가 더 복잡할 수 있습니다.
• 단일 실패 지점: 오케스트레이터는 단일 실패 지점이 될 수 있지만, 이는 중복성과 장애 허용 조치로 완화할 수 있습니다.

보상 트랜잭션 구현

사가 패턴의 중요한 측면은 보상 트랜잭션의 구현입니다. 이러한 트랜잭션은 실패 시 이전에 완료된 트랜잭션의 효과를 되돌리기 위해 실행됩니다. 목표는 전체 사가를 완료할 수 없더라도 시스템을 일관된 상태로 되돌리는 것입니다.

보상 트랜잭션의 주요 고려사항:

• 멱등성(Idempotency): 보상 트랜잭션은 멱등성이 있어야 합니다. 즉, 여러 번 실행해도 결과가 바뀌지 않아야 합니다. 이는 실패가 어느 시점에서나 발생할 수 있고 보상 트랜잭션이 재시도될 수 있기 때문에 중요합니다.
• 실패 처리: 보상 트랜잭션도 실패할 수 있습니다. 보상 트랜잭션의 실패를 처리하기 위한 전략, 예를 들어 재시도, 오류 로깅, 관리자에게 알림 등의 전략이 필요합니다.
• 데이터 일관성: 보상 트랜잭션은 데이터가 일관되게 유지되도록 보장해야 합니다. 이는 데이터를 이전 상태로 복원하거나, 새로 생성된 데이터를 삭제하거나, 트랜잭션 취소를 반영하도록 데이터를 업데이트하는 것을 포함할 수 있습니다.

보상 트랜잭션의 예시:

• 재고 서비스: 재고 서비스가 상품을 예약했지만 결제가 실패한 경우, 보상 트랜잭션은 예약된 상품을 해제하는 것입니다.
• 결제 서비스: 결제 서비스가 결제를 처리했지만 배송이 실패한 경우, 보상 트랜잭션은 환불을 발행하는 것일 수 있습니다.

과제 및 고려사항

사가 패턴은 상당한 이점을 제공하지만, 몇 가지 과제와 고려사항도 제시합니다:

• 복잡성: 사가 패턴을 구현하는 것은 특히 복잡한 비즈니스 프로세스의 경우 복잡할 수 있습니다. 신중한 계획과 설계가 필수적입니다.
• 최종적 일관성: 사가 패턴은 최종적 일관성을 제공하며, 이는 데이터가 일시적으로 일관되지 않을 수 있음을 의미합니다. 이는 강력한 일관성 보장이 필요한 애플리케이션에서는 우려 사항이 될 수 있습니다.
• 테스팅: 사가 테스트는 분산된 특성과 다양한 지점에서의 실패 가능성으로 인해 어려울 수 있습니다.
• 모니터링: 사가의 진행 상황과 상태를 모니터링하는 것은 문제를 식별하고 해결하는 데 중요합니다. 적절한 모니터링 도구와 프로세스가 필요합니다.
• 멱등성: 트랜잭션과 보상 트랜잭션이 멱등성을 갖도록 보장하는 것은 데이터 불일치를 방지하는 데 중요합니다.
• 고립성: 사가는 여러 로컬 트랜잭션을 포함하므로 고립성이 문제가 될 수 있습니다. 시맨틱 락이나 낙관적 잠금과 같은 전략이 필요할 수 있습니다.

사용 사례 및 예시

사가 패턴은 특히 분산 시스템 및 마이크로서비스 아키텍처에서 다양한 사용 사례에 적합합니다. 일반적인 예시는 다음과 같습니다:

• 전자상거래 주문 관리: 위 예시에서 설명했듯이, 사가 패턴은 주문 생성부터 결제 처리, 배송에 이르기까지 전체 주문 생명주기를 관리하는 데 사용될 수 있습니다.
• 금융 거래: 사가 패턴은 자금 이체, 대출 신청, 보험 청구 등 여러 시스템을 포함하는 복잡한 금융 거래를 관리하는 데 사용될 수 있습니다.
• 공급망 관리: 사가 패턴은 제조업체, 유통업체, 소매업체 등 공급망의 여러 주체 간의 활동을 조정하는 데 사용될 수 있습니다.
• 의료 시스템: 사가 패턴은 환자 기록을 관리하고 다른 부서 및 의료 제공자 간의 치료를 조정하는 데 사용될 수 있습니다.

예시: 글로벌 은행 거래

서로 다른 국가에 위치하고 다양한 규정 및 규정 준수 확인을 받아야 하는 두 개의 다른 은행 간의 글로벌 은행 거래 시나리오를 상상해 보십시오. 사가 패턴은 트랜잭션이 정의된 단계를 따르도록 보장할 수 있습니다:

1. 거래 시작: 고객이 미국에 위치한 A 은행의 계좌에서 독일에 위치한 B 은행의 수취인 계좌로 자금 이체를 시작합니다.
2. A 은행 - 계좌 유효성 검사: A 은행은 고객의 계좌를 검증하고, 충분한 자금이 있는지 확인하며, 보류나 제한이 없는지 확인합니다.
3. 규정 준수 확인 (A 은행): A 은행은 거래가 자금 세탁 방지(AML) 규정이나 국제 제재를 위반하지 않는지 확인하기 위해 규정 준수 검사를 실행합니다.
4. 자금 이체 (A 은행): A 은행은 고객의 계좌에서 금액을 인출하고 자금을 어음 교환소나 중개 은행으로 보냅니다.
5. 어음 교환소 처리: 어음 교환소는 거래를 처리하고, 통화 변환(USD에서 EUR로)을 수행하며, 자금을 B 은행으로 라우팅합니다.
6. B 은행 - 계좌 유효성 검사: B 은행은 수취인의 계좌를 검증하고, 계좌가 활성 상태이며 자금을 수령할 수 있는지 확인합니다.
7. 규정 준수 확인 (B 은행): B 은행은 독일 및 EU 규정을 준수하며 자체 규정 준수 검사를 실행합니다.
8. 계좌 입금 (B 은행): B 은행은 수취인의 계좌에 금액을 입금합니다.
9. 확인: B 은행은 A 은행에 확인 메시지를 보내고, A 은행은 고객에게 거래가 완료되었음을 알립니다.

보상 트랜잭션:

• A 은행의 규정 준수 확인이 실패하면 거래는 취소되고 고객의 계좌는 인출되지 않습니다.
• B 은행의 규정 준수 확인이 실패하면 자금은 A 은행으로 반환되고 고객의 계좌에 다시 입금됩니다.
• 어음 교환소에서 통화 변환이나 라우팅에 문제가 있는 경우, 거래는 취소되고 자금은 A 은행으로 반환됩니다.

도구 및 기술

사가 패턴 구현을 지원할 수 있는 여러 도구와 기술이 있습니다:

• 메시지 큐: Apache Kafka, RabbitMQ, Amazon SQS는 코레오그래피 기반 사가에서 이벤트를 발행하고 구독하는 데 사용될 수 있습니다.
• 워크플로우 엔진: Camunda, Zeebe, Apache Airflow는 오케스트레이터를 구현하고 복잡한 워크플로우를 관리하는 데 사용될 수 있습니다.
• 이벤트 소싱: 이벤트 소싱은 사가 내 이벤트의 이력을 추적하고 실패 시 롤백을 용이하게 하는 데 사용될 수 있습니다.
• 분산 트랜잭션 관리자: Atomikos와 같은 일부 분산 트랜잭션 관리자는 여러 서비스에 걸쳐 트랜잭션을 조정하는 데 사용될 수 있습니다. 그러나 분산 환경에서의 내재적 한계로 인해 모든 마이크로서비스 아키텍처에 적합하지 않을 수 있습니다.
• 사가 프레임워크: 사가 패턴을 구현하기 위한 추상화 및 도구를 제공하는 사가 프레임워크도 있습니다.

사가 패턴 구현을 위한 모범 사례

사가 패턴을 효과적으로 구현하려면 다음 모범 사례를 고려하십시오:

• 신중한 설계: 비즈니스 요구사항을 철저히 분석하고 그에 따라 사가를 설계하십시오. 참여하는 마이크로서비스, 트랜잭션 순서, 보상 조치를 식별하십시오.
• 멱등성: 모든 트랜잭션과 보상 트랜잭션이 멱등성을 갖도록 보장하십시오.
• 오류 처리: 사가의 어느 지점에서든 실패에 대처할 수 있는 강력한 오류 처리 메커니즘을 구현하십시오.
• 모니터링 및 로깅: 사가의 진행 상황과 상태를 추적하기 위해 포괄적인 모니터링 및 로깅을 구현하십시오.
• 테스팅: 사가가 올바르게 작동하고 실패를 정상적으로 처리하는지 확인하기 위해 철저하게 테스트하십시오.
• 시맨틱 락: 다른 사가에 의해 동일한 데이터가 동시에 업데이트되는 것을 방지하기 위해 시맨틱 락을 구현하십시오.
• 낙관적 잠금: 동시 트랜잭션 간의 충돌을 감지하고 방지하기 위해 낙관적 잠금을 사용하십시오.
• 올바른 구현 전략 선택: 코레오그래피와 오케스트레이션 간의 장단점을 신중하게 고려하고 요구사항에 가장 적합한 전략을 선택하십시오.
• 명확한 보상 정책 정의: 보상이 트리거되는 조건과 취해야 할 특정 조치를 포함하여 보상 처리에 대한 명확한 정책을 수립하십시오.

결론

사가 패턴은 마이크로서비스 아키텍처에서 분산 트랜잭션을 관리하는 강력한 도구입니다. 트랜잭션을 일련의 작고 독립적인 트랜잭션으로 분해하고 실패를 보상하는 메커니즘을 제공함으로써, 사가 패턴은 데이터 일관성을 유지하고 탄력적이며 확장 가능하고 분리된 시스템을 구축할 수 있게 합니다. 사가 패턴은 구현하기 복잡할 수 있지만, 유연성, 확장성 및 탄력성 측면에서 제공하는 이점은 모든 마이크로서비스 아키텍처에 귀중한 자산이 됩니다.

사가 패턴의 미묘한 차이, 코레오그래피와 오케스트레이션 간의 장단점, 그리고 보상 트랜잭션의 중요성을 이해하면 오늘날의 복잡한 비즈니스 환경의 요구를 충족하는 강력한 분산 시스템을 설계하고 구현할 수 있는 능력을 갖추게 될 것입니다. 사가 패턴을 수용하는 것은 가장 복잡한 분산 트랜잭션도 자신 있게 처리할 수 있는 진정으로 탄력적이고 확장 가능한 마이크로서비스 아키텍처를 구축하는 단계입니다. 이 패턴을 적용할 때는 특정 요구사항과 컨텍스트를 고려하고 실제 경험과 피드백을 바탕으로 구현을 지속적으로 개선하는 것을 잊지 마십시오.