1. Bài toán
Giả sử chúng ta có một Lambda function tên là ProcessMessages.
SNS InputTopic -> Lambda ProcessMessages
Lambda được invoke async khi có messege publish vào trong SNS topic InputTopic.
Bài toán đặt ra là:
Khi function Lambda "ProcessMessages" xử lý message fail thì hệ thống phải gửi sang một notifi tới SNS Topic "ErroTopic"
Lambda Failure Destination
Với Lambda asynchronous invocation, Lambda không trả lỗi trực tiếp về caller theo kiểu đồng bộ. Thay vào đó, Lambda đưa event vào hàng đợi nội bộ rồi xử lý sau. AWS Lambda có cơ chế retry cho async invocation; mặc định nếu function lỗi, Lambda retry thêm 2 lần. Nếu vẫn lỗi sau các lần retry, Lambda có thể gửi record lỗi đến destination như SNS topic hoặc SQS queue.
SNS InputTopic
↓
Lambda ProcessMessages
↓ nếu xử lý thất bại
SNS ErrorTopic
↓
Email notification
Kiến trúc lab
Ta sẽ thực hiên các task chính:
- Tạo SNS topic InputTopic
- Tạo SNS topic ErrorTopic
- Tạo Lambda function ProcessMessages
- Subscribe Lambda vào InputTopic
- Subscribe email vào ErrorTopic
- Cấu hình Lambda async failure destination trỏ về ErrorTopic
- Publish message vào InputTopic
- Lambda cố tình throw error
- Nhận email alert từ ErrorTopic
Hands on Lab bằng AWS Console
*Bước 1: Tạo SNS topic InputTopic
*
Vào AWS Console:
Amazon SNS → Topics → Create topic
Chọn:
Type: Standard
Name: InputTopic
Bấm:
Create topic. Lưu lại ARN của topic này, ví dụ:
arn:aws:sns:ap-southeast-1:123456789012:InputTopic
Bước 2: Tạo SNS topic ErrorTopic
Tạo topic thứ hai:
Amazon SNS → Topics → Create topic
Chọn:
Type: Standard
Name: ErrorTopic
Bấm:
Create topic
Topic này sẽ nhận failure notification từ Lambda.
Bước 3: Subscribe email vào ErrorTopic
Vào topic ErrorTopic:
Subscriptions → Create subscription
Chọn:
Protocol: Email
Endpoint: email của bạn
Ví dụ:
Bấm:
Create subscription
Sau đó mở email và bấm Confirm subscription. (Có thể vẫn bị nằm trong thư mục Spam)
Nếu chưa confirm email subscription, SNS sẽ không gửi notification đến email của bạn.
- Tạo Lambda function ProcessMessages
Vào:
AWS Lambda → Functions → Create function
Chọn:
Author from scratch
Function name: ProcessMessages
Runtime: Python 3.12 hoặc Node.js 20.x
Architecture: x86_64
Bấm:
Create function
- Code Lambda cố tình fail
Dùng Python cho dễ test.
Trong Lambda code editor, thay code bằng:
import json
def lambda_handler(event, context):
print("Received event:")
print(json.dumps(event))
# Giả lập xử lý message thất bại
raise Exception("Simulated processing failure from ProcessMessages")
Bấm:
Deploy
Ý nghĩa code này:
Mỗi khi Lambda nhận message từ InputTopic, nó sẽ cố tình throw exception.
Sau retry async thất bại, Lambda sẽ gửi failure record sang ErrorTopic.
- Gắn InputTopic làm trigger cho Lambda
Trong Lambda ProcessMessages, vào tab:
Configuration → Triggers → Add trigger
Chọn:
Source: SNS
SNS topic: InputTopic
Bấm:
Add
Lúc này flow đã có:
InputTopic → ProcessMessages
Theo AWS, Lambda có thể được invoke bởi SNS notification và Lambda xử lý SNS message theo cơ chế asynchronous.
- Cấu hình Failure Destination cho Lambda
Đây là phần quan trọng nhất.
Trong Lambda ProcessMessages, vào:
Configuration → Asynchronous invocation
Bấm:
Edit
Tìm phần:
Destination on failure
Chọn:
SNS topic
Sau đó chọn topic:
ErrorTopic
Hoặc nhập ARN của ErrorTopic.
Bấm:
Save
AWS Console cũng hướng dẫn cấu hình async invocation tại Lambda function bằng đường dẫn Configuration → Asynchronous invocation → Edit.
- Kiểm tra IAM permission
Thông thường khi bạn cấu hình qua Console, AWS có thể tự thêm permission cần thiết hoặc yêu cầu bạn cấp quyền.
Lambda execution role cần quyền publish message vào SNS ErrorTopic.
Policy tối thiểu có dạng:
{
"Effect": "Allow",
"Action": "sns:Publish",
"Resource": "arn:aws:sns:REGION:ACCOUNT_ID:ErrorTopic"
}
Ví dụ:
{
"Effect": "Allow",
"Action": "sns:Publish",
"Resource": "arn:aws:sns:ap-southeast-1:123456789012:ErrorTopic"
}
Nếu thiếu quyền, Lambda có thể fail khi gửi record sang destination. AWS có metric DestinationDeliveryFailures để theo dõi trường hợp Lambda không gửi được event đến destination do lỗi permission, cấu hình sai hoặc giới hạn kích thước.
- Test bằng cách publish message vào InputTopic
Vào:
Amazon SNS → Topics → InputTopic → Publish message
Nhập:
Subject: Test Lambda Failure
Message body:
{
"orderId": "12345",
"action": "process"
}
Bấm:
Publish message
Sau đó flow sẽ chạy:
InputTopic nhận message
→ SNS invoke Lambda ProcessMessages
→ Lambda throw exception
→ Lambda retry async
→ Sau khi fail hết retry
→ Lambda gửi failure record sang ErrorTopic
→ ErrorTopic gửi email cho bạn
- Kiểm tra CloudWatch Logs
Vào:
CloudWatch → Log groups
Tìm log group:
/aws/lambda/ProcessMessages
Bạn sẽ thấy log kiểu:
Received event:
...
Exception: Simulated processing failure from ProcessMessages
Điều này chứng minh Lambda đã nhận event từ SNS nhưng xử lý thất bại.
13. Kiểm tra email từ ErrorTopic
Sau một lúc, bạn sẽ nhận được email từ SNS ErrorTopic.
Nội dung email thường không chỉ có message gốc, mà còn có thông tin failure record từ Lambda, bao gồm các thông tin như:
- requestContext
- responseContext
- functionError
- approximateInvokeCount
- requestPayload
- responsePayload
Đây là lý do Lambda destination hữu ích hơn việc chỉ gửi message lỗi thủ công. Nó cho ta context về invocation thất bại.
*Dọn dẹp tài nguyên sau lab
*
Để tránh phát sinh chi phí hoặc rác tài nguyên, xóa các resource sau:
Lambda function: ProcessMessages
SNS topic: InputTopic
SNS topic: ErrorTopic
CloudWatch log group: /aws/lambda/ProcessMessages
Vào CloudWatch xóa log group nếu không cần giữ log.