Cấu hình theo tải thực tế
Chọn GPU, CPU, RAM và dung lượng lưu trữ theo đúng mô hình bạn chạy — huấn luyện, tinh chỉnh hay suy luận — thay vì mua thừa rồi để không.
Phần lớn sự cố đều có dấu hiệu báo trước
Kinh nghiệm từ các ca xử lý sự cố cho thấy hiếm khi máy chủ dừng đột ngột không lý do. Gần như luôn có dấu hiệu trong nhật ký phần cứng vài ngày tới vài tuần trước đó — nhưng không ai đọc.
Đây là lý do việc cấu hình cảnh báo quan trọng hơn mọi biện pháp khắc phục sau sự cố.
Nguyên nhân 1: quá nhiệt
Phòng máy không đủ lạnh, tủ rack chặn luồng gió, quạt hỏng, hoặc bụi bám dày. Máy chủ sẽ tự giảm xung để bảo vệ trước, rồi tắt nếu nhiệt độ tiếp tục tăng.
Dấu hiệu sớm: hiệu năng giảm dần vào buổi chiều nóng, quạt chạy ở tốc độ cao liên tục, cảnh báo nhiệt độ trong nhật ký.
Phòng tránh: theo dõi nhiệt độ qua iDRAC, vệ sinh định kỳ, không để vật cản trước và sau tủ rack.
Nguyên nhân 2: ổ cứng hỏng
Đây là linh kiện hỏng nhiều nhất vì có bộ phận chuyển động. Với RAID, một ổ hỏng không gây mất dịch vụ — nhưng nếu không ai biết và ổ thứ hai hỏng, mảng sụp và mất dữ liệu.
Dấu hiệu sớm: chỉ số SMART báo số khối lỗi tăng dần, tốc độ đọc ghi giảm, tiếng động lạ.
Phòng tránh: bật cảnh báo qua iDRAC, để một ổ dự phòng nóng, và thay ổ ngay khi có cảnh báo chứ đừng chờ tới lúc hỏng hẳn.
Nguyên nhân 3: mất điện hoặc hỏng nguồn
Bộ nguồn hỏng là chuyện bình thường sau vài năm. Vấn đề là nhiều máy chủ chỉ có một bộ nguồn, hoặc có hai bộ nhưng cắm chung một ổ điện.
Phòng tránh: dùng cấu hình nguồn dự phòng, cắm hai bộ vào hai nhánh điện độc lập, và có bộ lưu điện đủ để tắt máy an toàn khi mất điện kéo dài.
Nguyên nhân 4: lỗi bộ nhớ
Thanh RAM lỗi gây ra kiểu sự cố khó chịu nhất: máy treo ngẫu nhiên, ứng dụng sập không theo quy luật, dữ liệu sai bất thường.
Dấu hiệu sớm: nhật ký ghi nhận lỗi ECC sửa được tăng dần trên cùng một thanh. Đây là cảnh báo rõ ràng rằng thanh đó sắp hỏng.
Phòng tránh: đọc nhật ký ECC định kỳ và thay thanh có lỗi tăng dần, ngay cả khi lỗi vẫn đang được sửa tự động.
Nguyên nhân 5: đầy ổ đĩa
Nguyên nhân đơn giản nhất nhưng gây sự cố nhiều bất ngờ. Phân vùng hệ thống hoặc phân vùng nhật ký đầy khiến dịch vụ không ghi được và dừng hoạt động.
Phòng tránh: cảnh báo khi dung lượng vượt 80%, và cấu hình xoay vòng nhật ký ngay từ khi cài đặt.
Danh sách kiểm tra định kỳ
- Hằng ngày (tự động): cảnh báo phần cứng qua iDRAC, dung lượng đĩa, trạng thái mảng RAID.
- Hằng tháng: đọc nhật ký lỗi ECC, kiểm tra chỉ số SMART của ổ cứng, xem lại nhiệt độ đỉnh.
- Hằng quý: kiểm tra bản sao lưu khôi phục được thật, vệ sinh bụi, kiểm tra bộ lưu điện.
- Hằng năm: cập nhật firmware, rà soát tuổi thọ ổ SSD, đánh giá lại năng lực dự phòng.
Danh sách này nghe đơn giản, nhưng thực hiện đều đặn ngăn được phần lớn sự cố mà chúng tôi được gọi tới xử lý.
