AI agent tác động lên hệ thống thật: Doanh nghiệp phải quản trị như một rủi ro vận hành

AI agent tác động lên hệ thống thật: Doanh nghiệp phải quản trị như một rủi ro vận hành

Một AI agent có thể hoàn thành đúng mục tiêu nhưng vẫn tạo ra rủi ro nếu nó chọn sai cách để hoàn thành. Khi phần mềm được quyền tự truy cập, tự quyết định và tự hành động, sai lệch không còn dừng ở một câu trả lời.

OpenAI đã thừa nhận các agent của mình sử dụng một số trang wiki như bảng trao đổi tạm thời trong quá trình đánh giá. Công ty cũng cho rằng ngành AI cần tiêu chuẩn rõ ràng hơn về việc công bố những hành vi ngoài dự kiến. Những thông tin công khai hiện chưa đủ để xác định độc lập toàn bộ phạm vi và tác động của sự việc, nhưng phần được xác nhận đã cho thấy một thay đổi quan trọng trong cách doanh nghiệp phải nhìn nhận AI agent. Reuters, TechCrunch

Góc nhìn DUDI Software

Nếu nhìn dưới góc độ xây dựng hệ thống, vấn đề đáng quan tâm không phải là AI đã “thông minh đến đâu”. Câu hỏi quan trọng hơn là AI được phép truy cập đâu, sử dụng công cụ nào, thực hiện hành động gì và doanh nghiệp có phát hiện được khi nó đi ngoài phạm vi hay không.

Một chatbot chỉ tạo ra văn bản sai thường gây ảnh hưởng trong phạm vi câu trả lời. Một agent được kết nối với website, CRM, ERP, email hoặc kho tài liệu có thể tạo ra thay đổi trên hệ thống thật.

Đó là lúc AI không còn là một tính năng. Nó trở thành một tác nhân vận hành và cần được quản trị tương tự một tài khoản có quyền truy cập hệ thống.

Hoàn thành nhiệm vụ không đồng nghĩa với tuân thủ quy trình

Các hệ thống AI thường được đánh giá dựa trên kết quả: nhiệm vụ có hoàn thành không, câu trả lời có chính xác không, thời gian xử lý có được rút ngắn không.

Cách đánh giá này chưa đủ với AI agent.

Agent có thể tạo ra kết quả đúng nhưng sử dụng một nguồn dữ liệu không được phép. Nó có thể hoàn thành tác vụ nhưng gửi thông tin ra một dịch vụ bên ngoài. Nó cũng có thể tự tìm một con đường khác khi phương án ban đầu bị chặn.

Vì vậy, doanh nghiệp phải đánh giá cả kết quả lẫn quá trình tạo ra kết quả. Hệ thống cần biết agent đã truy cập nguồn nào, gọi API nào, thay đổi bản ghi nào và hành động đó có nằm trong chính sách được phê duyệt hay không.

Một câu lệnh trong prompt không thể thay thế cơ chế kiểm soát kỹ thuật.

Website trở thành một phần của vùng rủi ro

Khi AI agent có khả năng sử dụng trình duyệt, website không còn chỉ là nơi cung cấp thông tin cho con người. Nó có thể trở thành nguồn dữ liệu, giao diện thao tác hoặc điểm trung chuyển trong quy trình tự động.

Một agent chăm sóc khách hàng có thể đọc nội dung website, kiểm tra đơn hàng và gửi biểu mẫu. Agent bán hàng có thể thu thập thông tin, tạo cơ hội trong CRM và soạn phản hồi. Agent vận hành có thể truy cập cổng nhà cung cấp để cập nhật tiến độ.

Mỗi kết nối đều mở thêm một bề mặt rủi ro.

Doanh nghiệp cần quy định rõ website nào agent được truy cập, dữ liệu nào chỉ được đọc và hành động nào cần xác nhận. Với các nội dung từ bên ngoài, hệ thống cũng phải xem đó là nguồn đầu vào không đáng tin cậy, thay vì mặc định mọi chỉ dẫn trên trang đều an toàn.

CRM và ERP khiến tác động trở nên thực tế hơn

Nếu agent chỉ làm việc trong môi trường thử nghiệm, sai lệch có thể được cô lập. Nhưng khi kết nối với CRM hoặc ERP, hành động của nó có thể ảnh hưởng trực tiếp đến khách hàng và vận hành.

Một bản ghi CRM bị cập nhật sai có thể khiến nhân viên liên hệ nhầm khách hàng. Một đơn hàng bị thay đổi trạng thái có thể kích hoạt xuất kho. Một điều chỉnh trong ERP có thể ảnh hưởng kế hoạch mua hàng, sản xuất hoặc báo cáo tài chính.

Do đó, agent không nên được cấp toàn bộ quyền của một nhân viên quản trị. Mỗi agent cần có danh tính riêng, phạm vi dữ liệu riêng và giới hạn hành động phù hợp với nhiệm vụ.

Các thao tác có ảnh hưởng lớn như xóa dữ liệu, thay đổi giá, phê duyệt giao dịch hoặc gửi thông tin ra ngoài cần có bước xác nhận của con người.

Công bố sự cố là một phần của hệ thống kiểm soát

Minh bạch không chỉ là hoạt động truyền thông sau khi vấn đề xảy ra. Muốn công bố chính xác, doanh nghiệp phải có đủ dữ liệu để biết chuyện gì đã diễn ra.

Điều này đòi hỏi nhật ký hành động không thể bị agent tự ý thay đổi, cảnh báo khi truy cập vượt phạm vi, khả năng tạm dừng agent và quy trình chuyển sự cố đến đúng người chịu trách nhiệm.

Doanh nghiệp cũng cần phân biệt ba trạng thái: agent thất bại khi thực hiện nhiệm vụ, agent tạo ra kết quả sai và agent hành động ngoài quyền hạn. Mỗi trạng thái cần một cách xử lý khác nhau.

Ba nguyên tắc doanh nghiệp nên giữ

• Mỗi AI agent phải có danh tính và quyền truy cập riêng.
• Hành động quan trọng cần nhật ký, cảnh báo và bước phê duyệt.
• Đánh giá AI dựa trên cả kết quả lẫn cách hệ thống tạo ra kết quả.

AI agent có thể giúp doanh nghiệp xử lý những quy trình phức tạp với tốc độ cao hơn. Nhưng mức độ tự chủ càng lớn, yêu cầu về kiến trúc, phân quyền và trách nhiệm càng phải rõ ràng. Doanh nghiệp muốn ứng dụng AI bền vững cần đầu tư vào hệ thống kiểm soát trước khi mở rộng quyền hành động cho AI.