Sự cố Workday bắt nguồn từ chính bài kiểm tra dự phòng, nhân viên không thể chấm công

Workday, phần mềm được nhiều doanh nghiệp lớn sử dụng để quản lý bảng lương, chấm công và nghỉ phép, đã ngừng hoạt động với khách hàng sau khi thử nghiệm hệ thống sao lưu khẩn cấp của chính mình gặp trục trặc. Trong lúc kiểm tra các hệ thống khôi phục sau thảm họa, công ty phát hiện dịch vụ sao lưu bất ngờ kết nối với cơ sở dữ liệu đang vận hành mà khách hàng sử dụng, khiến dữ liệu rơi vào trạng thái không nhất quán. Workday đã ngắt các hệ thống bị ảnh hưởng để sửa chữa.

Với nhân viên, sự cố khiến trang đăng nhập chỉ hiện thông báo “Workday hiện không khả dụng”. Nhân viên tại các công ty bị ảnh hưởng không thể chấm công vào hoặc ra, xem thông tin tiền lương, xin nghỉ phép hay hoàn tất đăng ký phúc lợi; các tác vụ theo lịch truyền dữ liệu sang những hệ thống khác của công ty cũng có thể bị lỗi. Chính chiếc phao an toàn được thiết kế để duy trì dịch vụ khi xảy ra thảm họa lại khiến hệ thống sập.

Quy mô của Workday là lý do sự cố này không chỉ ảnh hưởng đến bộ phận nhân sự. Công ty cho biết có hơn 11.500 tổ chức sử dụng phần mềm của mình; danh sách khách hàng công khai có Walmart, Target, Netflix, Chipotle, Southwest Airlines, Bộ Năng lượng Mỹ và Phòng thí nghiệm Sức đẩy Phản lực thuộc NASA. Workday chưa cho biết có bao nhiêu khách hàng bị ảnh hưởng, mà chỉ mô tả tác động là xảy ra với “một số khách hàng”. Vì vậy, các bài đăng lan truyền khẳng định toàn bộ những doanh nghiệp này đều ngừng hoạt động đã đi xa hơn những gì thông tin thực tế xác nhận. Theo UC Today, các trang theo dõi sự cố ghi nhận báo cáo từ Mỹ và Ấn Độ.

Lời giải thích của Workday, đăng trên trang trạng thái dịch vụ dành cho khách hàng và được nhóm CNTT của Washington University trích dẫn, thẳng thắn một cách bất thường. “Trong quá trình xác thực Cửa sổ bảo trì hằng tuần dành cho các môi trường khôi phục sau thảm họa, chúng tôi phát hiện các dịch vụ được phân bổ trong Trung tâm Khôi phục sau thảm họa đã bất ngờ kết nối với cơ sở dữ liệu Production”, thông báo cho biết, đồng thời nói thêm rằng dữ liệu bị để lại “trong trạng thái không nhất quán”, có thể gây lỗi khi người dùng mở tài khoản hoặc khiến các tác vụ thất bại. Sau đó, công ty đưa toàn bộ môi trường Production thuộc nhóm khách hàng mà họ gọi là WD1 vào chế độ bảo trì và cam kết cập nhật 30 phút một lần.

Lời giải thích đó vẫn bỏ ngỏ câu hỏi lớn nhất. Bản sao phục hồi sau thảm họa được tạo ra để sự cố ở một nơi không thể lan sang nơi khác, nhưng trong trường hợp này, cuộc thử nghiệm đã chạm tới hệ thống thật. Workday chưa cho biết đường kết nối đó tồn tại như thế nào, cũng như liệu có dữ liệu nào bị mất hay chỉ bị sai lệch. Cách công ty truyền đạt thông tin cũng vấp phải chỉ trích. Các quản trị viên trên các diễn đàn sysadmin và Workday của Reddit cho biết sự cố bắt đầu nhiều giờ trước cảnh báo đầu tiên gửi tới khách hàng; Workday chưa xác nhận mốc thời gian này. Một email gửi khách hàng được chia sẻ trên diễn đàn thừa nhận công ty chưa thể ước tính thời điểm khôi phục, đồng thời khuyên những doanh nghiệp có thời hạn quan trọng chuyển sang các phương án duy trì hoạt động kinh doanh.

Với người lao động, thiệt hại thực tế tùy thuộc vào thời điểm xảy ra sự cố. Nhân viên hưởng lương theo giờ không thể bấm giờ vào cần được điều chỉnh giờ làm thủ công, còn những ai đang gấp rút hoàn tất thủ tục phúc lợi trước hạn thì không thể tiếp tục. Một số đơn vị sử dụng dịch vụ đã dời thời hạn: Emerson College cho biết trường gia hạn thời gian đăng ký mở vì sự cố. Sự việc cũng xảy ra vào cuối một tuần tồi tệ đối với phần mềm công sở, sau khi một sự cố của Microsoft 365 khiến Outlook và email Exchange hoạt động chập chờn sang ngày thứ hai.

Diễn biến đến nay: Emerson College cho biết Workday đã đưa hệ thống ngoại tuyến vào khoảng 5:15 chiều thứ Sáu, ngày 13 tháng 11, theo giờ miền Đông; LiveNOW from FOX đưa tin Downdetector ghi nhận gần 3.000 báo cáo sự cố ngay sau 5 giờ chiều. Người phát ngôn của Workday cho biết công ty “đang khẩn trương điều tra và khắc phục sự cố”, đồng thời xin lỗi những khách hàng bị ảnh hưởng. Đến sáng thứ Bảy, Workday thông báo với khách hàng rằng việc lập lại chỉ mục và đưa các môi trường hoạt động trở lại dự kiến sẽ hoàn tất với phần lớn khách hàng trước 11 giờ sáng thứ Bảy, ngày 14 tháng 11, theo giờ miền Đông; một số trường hợp sẽ mất nhiều thời gian hơn và khách hàng sẽ được liên hệ thông qua phiếu hỗ trợ. Thời gian đăng ký gia hạn của Emerson hiện kéo dài đến trưa thứ Hai, ngày 16 tháng 11, theo giờ miền Đông.

Dịch vụ hoạt động trở lại sẽ không giải đáp câu hỏi khó hơn mà các doanh nghiệp hiện đặt ra với nhà cung cấp. Họ muốn biết vì sao một cuộc thử nghiệm được thiết kế để chứng minh Workday có thể trụ vững sau thảm họa lại có đường dẫn tới chính dữ liệu mà hệ thống được giao nhiệm vụ bảo vệ.

Thẻ: bảng lương, dịch vụ đám mây, khôi phục sau thảm họa, phần mềm nhân sự, sự cố CNTT, Workday