Đọc và dùng nhật ký hệ thống

Nhật ký tốt biến một sự cố bí ẩn thành một vấn đề rõ ràng trong mười phút. Nhật ký kém thì hàng nghìn dòng vô nghĩa và không ai đọc.

Ghi gì và không ghi gì

Ghi mọi chuyển trạng thái. Nhẹ và cực kỳ hữu ích. Cho phép dựng lại chuỗi sự kiện.

Ghi mọi lệnh từ bên ngoài. Ai ra lệnh gì lúc nào.

Ghi mọi lỗi kèm ngữ cảnh. Không chỉ mã lỗi mà cả trạng thái lúc đó — vị trí robot, đang làm gì, giá trị các biến quan trọng.

Ghi kết quả các thao tác. Thành công hay thất bại, mất bao lâu.

Ghi giá trị đo định kỳ. Nhiệt độ, dòng, mức pin. Ở tần số thấp để không làm ngập nhật ký.

Đừng ghi trong vòng lặp tần số cao. Vừa làm ngập nhật ký vừa làm chậm vòng điều khiển.

Đừng ghi thông tin nhạy cảm. Mật khẩu, khoá, dữ liệu cá nhân.

Nguyên tắc. Ghi đủ để dựng lại chuyện gì đã xảy ra mà không cần có mặt. Đây là thước đo duy nhất đáng dùng.

Cấu trúc dòng nhật ký

Dấu thời gian. Chính xác tới mili giây. Và đồng bộ giữa các máy.

Mức độ. Gỡ lỗi, thông tin, cảnh báo, lỗi, nghiêm trọng. Cho phép lọc.

Nguồn. Thành phần nào ghi dòng này.

Nội dung. Câu mô tả rõ ràng, kèm giá trị cụ thể. Không ghi chung chung.

Ví dụ dòng kém. Lỗi khi gắp.

Ví dụ dòng tốt. Gắp thất bại tại vị trí đã cho, lực kẹp đo được thấp hơn ngưỡng, lần thử thứ hai trên ba.

Định dạng nhất quán. Cho phép xử lý tự động và tìm kiếm.

Định dạng có cấu trúc. Nếu dự định phân tích tự động thì ghi dạng có trường thay vì văn xuôi. Đọc bằng mắt kém hơn một chút, xử lý bằng máy tốt hơn nhiều.

Quản lý dung lượng

Nhật ký làm đầy đĩa là nguyên nhân dừng máy thực tế. Và hoàn toàn tránh được.

Xoay vòng tệp. Tệp đạt kích thước nhất định thì đóng lại và mở tệp mới. Xoá tệp cũ nhất khi vượt tổng dung lượng cho phép.

Đặt giới hạn tổng. Không để nhật ký chiếm quá một phần dung lượng đĩa đã định.

Nén tệp cũ. Nhật ký văn bản nén được rất nhiều.

Mức độ điều chỉnh được lúc chạy. Bình thường ghi mức thông tin; khi gỡ lỗi thì bật mức chi tiết mà không cần khởi động lại.

Cẩn thận với thẻ nhớ. Ghi liên tục làm hỏng thẻ. Dùng ổ công nghiệp hoặc giảm tần số ghi.

Gửi lên máy chủ. Với nhiều robot, gom nhật ký về một nơi. Vừa tiết kiệm dung lượng trên robot vừa cho phép phân tích chung.

Giữ lại phần quan trọng lâu hơn. Nhật ký lỗi giữ lâu, nhật ký thông tin thường xoá sớm.

Đọc nhật ký để chẩn đoán

Tìm dòng lỗi đầu tiên. Không phải dòng cuối. Lỗi đầu tiên thường là nguyên nhân, các lỗi sau là hệ quả.

Xem ngữ cảnh trước đó. Vài chục dòng trước lỗi. Thường có dấu hiệu.

Tìm mẫu lặp lại. Lỗi xảy ra nhiều lần thì so các lần với nhau. Điểm chung là manh mối.

Chú ý khoảng trống thời gian. Nếu không có dòng nào trong vài giây thì có gì đó bị treo hoặc chậm bất thường.

Đối chiếu thời gian với sự kiện bên ngoài. Lỗi xảy ra đúng lúc máy khác khởi động, đúng lúc đổi ca, đúng lúc có xe nâng đi qua.

Lọc theo mức và theo nguồn. Xem riêng cảnh báo trước, chúng ít và thường chứa thông tin.

Đếm. Đếm số lần mỗi loại lỗi. Phân bố cho biết cái nào phổ biến.

So với nhật ký bình thường. Nếu có nhật ký từ lúc hệ thống chạy tốt, so sánh chỉ ra khác biệt.

Từ nhật ký tới giám sát

Bước tiếp theo. Thay vì đọc nhật ký sau sự cố, phân tích tự động để phát hiện trước.

Đếm lỗi theo thời gian. Tỷ lệ lỗi tăng là cảnh báo sớm.

Theo dõi thời gian thực hiện. Thao tác chậm dần là dấu hiệu có gì đó xuống cấp.

Cảnh báo khi vượt ngưỡng. Gửi thông báo. Ngưỡng đặt từ dữ liệu thật sau vài tuần chạy, không đặt bằng phỏng đoán.

Bảng theo dõi. Ít chỉ số, cập nhật thời gian thực, cho người vận hành. Bảng phức tạp thì không ai xem.

Báo cáo định kỳ. Tổng hợp tuần hoặc tháng. Cho thấy xu hướng mà nhìn hàng ngày không thấy.

Phân tích chung nhiều robot. Lỗi xuất hiện ở nhiều robot cùng lúc là vấn đề hệ thống, không phải vấn đề của một máy.

Và quan trọng nhất — có người xem. Hệ thống giám sát không ai nhìn thì cũng bằng không có.

Câu hỏi thường gặp

Đọc thêm trong ROS 2 thực hành và Hiệu chỉnh & căn chỉnh.