Duolingo | Sending 6M+ Notifications Within 5 Seconds (KOR)

🔗 출처) David Mosyan

Overview

• 듀오링고는 3140만명 DAU를 갖는 가장 유명한 언어 학습 플랫폼이다.

• 수백만 유저를 타겟으로 알림을 한다.

• 마케팅팀의 요구사항은 5초 이내에 600만 개 이상의 알림을 보내는 것이다.

Problems

• 초당 10,000개 알림을 처리하고, 80배 더 빠른 속도로 알림을 보내야 한다.

• 안드로이드 앱에서 발견된 문제가 있었다.

• 앱에 알림을 보내면 백엔드로 바로 요청을 보낸다.

• 이는 DDoS 공격과 비슷했다.

• 듀오링고의 운영 원칙은 먼저 테스트하는 것이다.

• 시스템은 슈퍼볼 당일에 최대한 빨리 준비되야 한다.

• 이벤트 며칠 전에 시스템 확장시 비용이 많이 든다.

Solutions

• 변화하는 요구사항을 명확히 해야 한다.

• 지난 며칠간 몇 가지 변경은 괜찮은데, 다른 몇 가지는 금지되어 있다.

• 예를 들어, "기본적으로 청중 목록을 마무리한 후 전날에 200만 명의 사용자를 추가하는 것이 괜찮을까?" 답은 아니오였다.

• 빠르게 테스트할 수 없었고, 테스트하지 않으면 출시하지 않았다.

• 속도 문제는 초당 800,000 RPS이다.

• 현재 듀오링고는 AWS로 많은 서비스를 제공하고 있다. (S3, DynamoDB, SQS)

  • 캠페인 시작 전, DynamoDB에서 사용자 목록(UserId, DeviceId)을 가져와 S3에 저장함

  • 당일에 ASG와 EC2 인스턴스를 확장함

  • 이전에 모든 데이터를 저장했던 S3에서 데이터를 가져와 메모리에 저장함

  • 데이터는 사용자 ID에서 디바이스 ID로 매핑됨

  • API 서버는 실제로 50개 이상 메시지를 FIFO SQS 대기열로 보냄

  • 그 사이에 임시 워커가 해당 메시지를 받고 10,000개 이상의 SQS 메시지를 다음 대기열로 전송함

  • 마지막으로, 알림 워커가 일괄 APSN(애플)와 FCM(구글)의 API를 호출해 알림을 보냄

• 위 작업들에서 SQS 자체는 초당 120,000개 메시지라는 Inflight Message Limit이 있다. (SQS Inflight Message Limit: 120,000 MPS)

• 5초 안에 수백만 개 알림을 보내기 위해 배치 기술을 사용했다.

• 500명의 iOS 사용자를 하나의 메시지로, Android 사용자는 250명으로 배치 했고, 이는 제한 이하였다.

• AWS가 필요한 모든 리소스를 제때 프로비저닝할 수 있을까?

• AWS 기술 담당자와 연락해 인프라 이벤트 관리 문서 초안을 작성했다.

  • 확장 시기와 방법, 캐시 및 캐시 연결 제한, Dynamo 제한과 같은 구체적 단계 정의함

  • 전용 ECS Cluster도 일부 문제를 해결하는 데 도움이 됨

Test

• 처음 MVP 동안에 테스트 동안 무음 알림을 사용해 수행했다.

• 발견된 병목 중 하나는 스레드 수였다.

• Python 애플리케이션을 사용하므로 멀티스레드에 문제가 있었다.

• 스레드 수를 10에서 5로, 1로 줄임으로써 이 문제를 극복하는데 도움이 되었다.

• 또 다른 문제는 알림 서비스와 백엔드를 모두 확장하려고 할 때 발생했다.

• 서비스는 다른 백엔드 서비스가 확장될 때 까지 기다려야 했고, 그 반대도 마찬가지 였다.

• 그래서 별도의 ECS Cluster를 활용했다.

• Zombie Mode라는 내부 툴 중 하나가 테스트 프로세스에 큰 도움이 되었다.

• 기본적으로 이 모드가 켜지면 사용자 기기가 해당 플래그를 다시 확인하려 할 때 까지 일정 시간 동안 백엔드에 요청을 하지 않는다.

• 백엔드가 트래픽 급증을 처리할 수 없고 복구하는 데 시간이 필요한 시나리오에서 도움이 되었다.

그 결과 알림의 99%는 5.7초 만에 처리(P99)되었고, 95%는 3.9초 만에 처리(P95)되었다.

---

Lessons Learned

디자인에 대해서 열린 마음, 테스트는 엄격하게

• 최고의 디자인은 없음을 인정하기

• 반복과 테스트를 허용하는 디자인을 선택

• 시스템이 의도한 대로 작동하는지 확인하기 위해 테스트 중요성 인식

회복성과 견고성을 우선시

• 시스템은 중복된 메시지가 전송되는 것과 동시 작업을 처리하도록 설계되어야 함

실패에 대비하고 적극적으로 대응하라

• 엔지니어가 중요한 순간에 취해야 할 것들에 대한 자세한 핸드북을 작성해야 함

• 다양한 실패 시나리오에 대한 백업 계획이 포함되어야 함

• 문제에 직면했을 때 준비할 것, 적극적인 문제 해결에 대한 헌신을 반영해야 함