Xử lý sự cố Production

Tìm ra điều thực sự sai khi một sự cố production không nằm gọn trong một tầng.

Những sự cố mất nhiều thời gian nhất hiếm khi là những cái có stack trace rõ ràng. Đó là những trường hợp ứng dụng trông ổn, hạ tầng trông ổn, và vấn đề chỉ xuất hiện với một số client, một số khu vực hay một số đường request nhất định — nên đội nào cũng có lý khi kết luận rằng đó không phải việc của mình.

Thứ cần đến không phải là đoán cách sửa mà là một phương pháp: tái hiện chính xác lỗi, cô lập tầng phát sinh bằng cách kiểm tra trực tiếp từng tầng, và tiếp tục thu hẹp cho tới khi xác định được nguyên nhân thực sự thay vì một nguyên nhân nghe có vẻ hợp lý. Phần sửa thường là phần ngắn.

Mỗi lần làm việc đều kết thúc bằng một thứ ngăn sự cố lặp lại trong im lặng — một monitor, một smoke test, hay một dòng log lẽ ra đã bắt được nó.

Các dạng việc thường nhận

Điều tra sự cố vắt qua ranh giới ứng dụng, hạ tầng và CDN
Lỗi chỉ ảnh hưởng một số client — crawler, khu vực hay route cụ thể
Xác định vấn đề thuộc về ứng dụng hay nền tảng nó chạy trên
Bổ sung giám sát lẽ ra đã bắt được sự cố sớm hơn

Công việc liên quan

TaxPal
Dashboard phân tích sales cho nền tảng môi giới dịch vụ kế toán tại Nhật: case, KPI target so với actual, xếp hạng và tỷ lệ chuyển đổi theo nhân viên, team và công ty.
Truy vết HTTP 500 chỉ xảy ra với Googlebot, xuyên Next.js, Cloud Run và hosting edge
Người dùng và mọi crawler khác nhận 200, riêng Googlebot nhận 500 trên toàn site. Nguyên nhân: regression ở luồng 404, bị khuếch đại bởi bước xác minh crawler ở edge.

Công nghệ đã dùng

Apollo Client
AWS AppSync
AWS Cognito
AWS Lambda
Docker
Elasticsearch
GraphQL
Next.js
PostgreSQL
Prisma
React
Terraform
TypeScript

Có phù hợp không?

Phù hợp: hệ thống quản lý nghiệp vụ, backend và API, hạ tầng GCP và AWS, sự cố production.
Chưa phù hợp: công việc chủ yếu là dựng giao diện pixel-perfect hoặc hiệu ứng chuyển động phức tạp.

Nếu đây đúng là vấn đề bạn đang gặp, Gửi mô tả dự án.

Ứng dụng email sẽ mở sẵn một khung mô tả ngắn để bạn điền.