← Tất cả bài viết

App chậm? Đừng vội nâng server. Chúng tôi đo trước, và thủ phạm là một dòng code

Bốn phút mọi màn hình của 2novel đều treo. Phản xạ đầu tiên là nâng máy. Số đo chỉ ra một Promise.all hoàn tiền 39.523 job cùng lúc, còn API chỉ dùng 1% CPU. Hai skill mới của 2build đo hiệu năng và thiết kế kiến trúc cho người cầm tiền.

Nếu app của bạn chậm và ai đó vừa bảo "nâng server đi", hãy đọc bài này trước khi trả tiền.

Bốn phút

Ngày 9/11/2026, trong bốn phút buổi chiều, mọi màn hình của 2novel, app dịch truyện của 2found, đều treo. Trang thư viện mất tới 37 giây. Nút huỷ mất tới 69 giây. Ngay cả /readyz, endpoint chỉ chạy đúng một câu SELECT 1, cũng mất 23,7 giây.

Log ghi lỗi keepalive_timeout, kèm một gợi ý vận hành: "restart translate-api".

Ba phản xạ quen thuộc lúc này là restart cho chạy lại, nâng máy cho khoẻ, hoặc tách worker ra máy riêng cho chắc. Chúng tôi chưa làm cái nào. Chúng tôi đo trước.

Số đo nói gì

Thủ phạm là một thao tác huỷ hàng loạt. Khi người dùng huỷ một sách đang chờ dịch, code hoàn tiền từng job một, tất cả cùng lúc, bằng một Promise.all không giới hạn. Hôm đó là 39.523 job. Mỗi job một transaction, và tất cả cùng đổ vào nhóm 10 kết nối database đang phục vụ request của mọi khách.

Nút huỷ chậm nên người dùng bấm lại, tổng cộng 25 lần. Mỗi lần lại thêm một đợt hoàn tiền song song.

Thế còn ba phản xạ kia?

  • Restart: không sửa được gì. Kết nối không chết, chúng đang bận. Gợi ý trong log là sai.
  • Nâng máy: API của 2novel dùng khoảng 1% một nhân CPU. Database mới dùng 53 trên 100 kết nối. Máy to hơn vẫn có đúng 10 kết nối bị chiếm hết.
  • Tách worker: thêm một thứ phải vận hành, cho một tiến trình gần như không làm gì.

Cách sửa nằm ở bậc rẻ nhất: hoàn tiền theo lô nhỏ ở luồng nền, để nút huỷ trả lời ngay. Chi phí hạ tầng: 0 đồng.

Hai skill mới trong 2build

Chúng tôi đóng gói cách làm này thành hai skill, có trong 2build từ bản v1.127.

perf-audit trả lời: người dùng đang thấy chậm ở đâu, vì sao, và sửa gì trước. Nó lần theo đường đi của một request qua CDN, web, API, cache, database, hàng đợi, xếp các đường theo lượt gọi nhân thời gian, so mỗi đường với một ngưỡng, rồi tìm nguyên nhân cho đường đỏ. Một nguyên nhân chỉ được tính khi đã chứng minh được. Nguyên nhân chưa chứng minh được ghi là nghi vấn, và không bao giờ thành việc cần sửa.

architect trả lời: hệ thống bây giờ thật ra trông thế nào, và nên lớn lên theo hướng nào. Nó vẽ lại kiến trúc đang chạy theo code và cấu hình triển khai (tài liệu cũ mà khác code thì code thắng), rồi thiết kế thế hệ kế tiếp thành một lộ trình. Mỗi bước trong lộ trình chờ một chỉ số đo được vượt ngưỡng, ví dụ "CPU máy chủ chờ quá 20% trong 2 trên 3 tuần cao điểm". Chưa vượt thì chưa làm, chưa tốn tiền.

Cả hai không sửa code, không đụng hạ tầng, không ghi dữ liệu. Chúng đo, chứng minh và đề xuất. Việc sửa đi qua Autopilot như mọi thay đổi khác, mang theo đúng con số của lần đo làm tiêu chí nghiệm thu.

Viết cho người cầm tiền

Người quyết chuyện hiệu năng thường không phải kỹ sư. Họ phải chọn giữa "thêm vài chục USD mỗi tháng" và "để kỹ sư sửa hai ngày". Nên báo cáo mở đầu bằng phần dành cho họ:

  • Con số nào cũng kèm ngày, nguồn, và đọc theo cảm nhận người dùng: "mở một chương mất 0,15 giây, mục tiêu 0,3 giây".
  • Đề xuất nào cũng ghi tiền mỗi tháng, thời gian gián đoạn, rủi ro, có đảo ngược được không, và ai phải duyệt.
  • Những điều skill không tự biết được, như journey nào kiếm ra tiền, được ghi là giả định kèm nguồn, và gom vào mục "Cần bạn quyết", thay vì dừng lại hỏi giữa chừng.

Với 2novel, phần "Cần bạn quyết" có những việc chỉ chủ sản phẩm được quyết: xoá 2,5 GB dữ liệu cũ (không đảo ngược được nếu không có backup), hay restart database dùng chung để bật thống kê câu SQL (khoảng một phút gián đoạn cho mọi app trên máy).

Thứ tự sửa

Mỗi nguyên nhân đã chứng minh được xếp lên một bậc thang. Bậc càng thấp càng rẻ và càng dễ hoàn tác:

  1. Code: việc thừa trong mỗi request.
  2. Query và index: việc thừa trong mỗi câu SQL.
  3. Dữ liệu: dữ liệu phình to. Luôn là đề xuất cần chủ sản phẩm duyệt, ghi rõ là không đảo ngược được.
  4. Luồng: đẩy việc ra nền, gom lô.
  5. Cache trên thứ đã có sẵn.
  6. Hạ tầng và kiến trúc: chuyển sang architect, kèm bằng chứng.

Ba điều không bao giờ được đề xuất: cache thứ mà một index đã sửa được, thêm máy cho chi phí chưa biết đi đâu, và tách service chỉ vì hiệu năng.

Production chỉ để đọc

Số đo thật nhất nằm trên production, và một lệnh sai cũng nằm ở đó. Nên luật được viết thẳng vào skill: chỉ dùng quyền truy cập mà tài liệu hoặc chủ sản phẩm gọi tên là chỉ-đọc; không restart, không deploy, không xoá cache, không chạy load test trên production; câu EXPLAIN chạy trong transaction chỉ-đọc. Log được gom theo route, không trích nguyên dòng: không id, email, IP hay tham số SQL nào lọt vào báo cáo.

Không có quyền đọc production, skill vẫn chạy. Nó đọc code, đo trong môi trường thử, rồi trả về một kế hoạch đo: cần đọc tín hiệu nào, cần quyền gì, mất bao lâu. Sức khoẻ khi đó là "chưa đo", và nó nói thẳng như vậy.

Lần audit đầu cho 2novel thấy gì

  • Việc dùng hằng ngày nhanh: mở sách 0,1 giây, mở chương 0,15 giây, đều dưới ngưỡng.
  • Ba việc sửa sẵn cho Autopilot, mỗi việc kèm lệnh nghiệm thu: hoàn tiền theo lô ở luồng nền; log đủ route và mã lỗi database thay vì tham số; trang thư viện đọc bộ đếm thay vì cộng lại mọi chương ở mỗi lần làm mới.
  • Một lỗ hổng an toàn từ architect: không có cảnh báo nào khi API lỗi hay chậm. Bốn phút treo kia có thể đã không báo cho ai.
  • Một lộ trình chưa tốn đồng nào: database riêng, tách worker, chạy hai bản API, mỗi bước chờ một chỉ số vượt ngưỡng. Hôm nay chưa bước nào tới ngưỡng.
  • Máy chủ dùng chung thiếu CPU thật, nhưng 2novel chỉ chiếm khoảng 2% tải. Dời 2novel đi gần như không giúp được gì. Đó là quyết định ở tầng nền tảng, và nó nằm trong mục "Cần bạn quyết".

Hiện giờ ra sao

Autopilot sửa hai việc đầu: hoàn tiền theo lô ở luồng nền, và log đủ route cùng mã lỗi database. Bản sửa lên production lúc 17:05 cùng ngày. Hai giờ sau, chúng tôi chạy perf-audit verify trên chính báo cáo đó, với cùng nguồn số liệu và cùng cách tính.

Trước Sau
Cả app treo khi có lần huỷ lớn khoảng 4 phút khoảng 15 giây
/readyz chậm nhất 23,7 giây 0,56 giây
Nút huỷ chậm nhất 69 giây 23 giây
Nút huỷ báo lỗi 2 trên 25 lần 3 trên 5 lần

Kết quả: một việc đã sửa xong, hai việc chưa xong, không việc nào tệ đi.

  • Đã sửa xong: log. Giờ log cho biết ai đang chậm. Trang thư viện chỉ chậm với workspace nội bộ của chúng tôi, còn khách thật mở trong khoảng 0,02 giây. Nhờ đó, việc sửa thứ ba (thêm bộ đếm cho một bảng 1,5 GB) được để sau, vì chưa khách nào cần nó.
  • Chưa xong: nút huỷ. Thời gian treo giảm từ 4 phút xuống 15 giây, nhưng chưa đạt tiêu chí nghiệm thu, và 3 trên 5 lần bấm huỷ vẫn báo lỗi. Log mới cho biết lý do: lệnh huỷ đụng với chính nó. Nó cập nhật cùng mấy nghìn dòng dữ liệu bằng hai câu lệnh chạy song song, nên database phải chặn một câu. Trước khi sửa, lỗi này bị che sau bốn phút nghẽn. Đó là việc sửa kế tiếp, vẫn ở bậc code, chi phí 0 đồng.
  • Không phải do 2novel: một lần chậm 10 giây lúc 18:41, khi không có lần huỷ nào, rơi đúng lúc CPU của máy chủ dùng chung bị nghẽn. Báo cáo ghi đó là nghi vấn ở tầng nền tảng, không phải việc của 2novel.

Có hai điều chúng tôi chưa chắc. Mới có một cửa sổ đo khoảng hai giờ, trong khi skill đòi hai cửa sổ có lượng truy cập tương đương. Tiền hoàn trên production cũng chưa được đối soát, vì việc đó cần quyền đọc database mà chủ sản phẩm phải duyệt lại.

Nếu chỉ nhìn "test xanh, deploy xong", việc huỷ đã bị đánh dấu là xong. Đo lại cho thấy bản sửa đúng hướng nhưng chưa đủ, và chỉ ra nguyên nhân tiếp theo.

Thử trên app của bạn

1. Cài hoặc cập nhật 2build.

bash
brew tap 2found/2build https://github.com/2found/2build
brew install 2found/2build/bbs   # đã cài rồi thì chạy: bbs update
bbs install                      # tự nhận Claude Code, Codex, Antigravity

Sau đó khởi động lại agent.

2. Nhờ agent đo.

Agent Cả hệ thống Một journey Kiến trúc
Claude Code /bbs:perf-audit /bbs:perf-audit audit "mở chương" /bbs:architect
Codex $bbs:perf-audit $bbs:perf-audit audit "mở chương" $bbs:architect

3. Đọc phần đầu báo cáo. Đó là phần viết cho bạn. Mỗi việc sửa ở cuối báo cáo là một lệnh Autopilot dán được ngay. Sửa xong, chạy /bbs:perf-audit verify <đường dẫn báo cáo> để xem trước và sau.

Không dùng 2build? Tự kiểm tra mấy điểm này

  1. Đo trước khi mua máy. Xem tiến trình nào đang dùng CPU, và nó dùng bao nhiêu.
  2. Nhìn nhóm kết nối database, không chỉ CPU. Một tác vụ hàng loạt có thể chiếm hết kết nối trong khi CPU vẫn nhàn.
  3. Tìm Promise.all không giới hạn trên dữ liệu do người dùng quyết định độ lớn.
  4. Nghi ngờ mọi gợi ý "restart cho chạy lại". Nếu tài nguyên đang bận, restart chỉ dời sự cố sang lần sau.
  5. Có cảnh báo khi API lỗi hoặc chậm, và chắc chắn nó tới được một người thật.
  6. Ghi lại thứ chưa làm và lý do. Redis, read replica hay microservice đều có lúc đáng làm. Viết ra chỉ số nào sẽ làm bạn đổi ý.

Phần lớn những lần "cần server to hơn" là lãng phí nằm trong code. Đo trước, rồi hãy trả tiền.


Hướng dẫn dùng hai skill (tiếng Anh): Performance and architecture trong tài liệu 2build. Mã nguồn, skill và bản kỹ thuật của bài này: github.com/2found/2build.