AI trả lời đúng vẫn có thể làm lộ dữ liệu doanh nghiệp

Một trợ lý AI có thể trả lời đúng mọi câu hỏi trong bài kiểm thử nhưng vẫn là một hệ thống không an toàn. Chỉ cần lớp truy xuất dùng quyền của tài khoản kỹ thuật thay vì quyền của người đang hỏi, dữ liệu nội bộ có thể được chuyển tới sai người mà không cần một cuộc tấn công mạng.

VentureBeat ghi nhận một trợ lý email sử dụng Azure OpenAI và dữ liệu SharePoint đã vượt qua các bài đánh giá về độ chính xác. Tuy nhiên, tài khoản có quyền hạn thấp vẫn nhận được nội dung từ những tài liệu mà người dùng đó không thể mở trực tiếp trên SharePoint.

Vấn đề không nằm ở việc mọi hệ thống Azure OpenAI đều thiếu an toàn. Điểm yếu xuất hiện trong quy trình truy xuất tùy chỉnh không kiểm tra lại quyền của người dùng trước khi đưa tài liệu vào ngữ cảnh của AI.

Góc nhìn DUDI Software

Nếu nhìn dưới góc độ xây dựng hệ thống, điều đáng quan tâm không phải AI trả lời thông minh đến đâu. Câu hỏi quan trọng hơn là AI đã đọc dữ liệu nào, đọc bằng quyền của ai và doanh nghiệp có thể kiểm tra lại toàn bộ quá trình đó hay không.

Khi AI được kết nối với tài liệu nội bộ, CRM, ERP hoặc hệ thống quản lý công việc, nó trở thành một lớp truy cập dữ liệu mới. Nếu lớp này được thiết kế sai, AI có thể vô tình xóa bỏ những ranh giới phân quyền mà doanh nghiệp đã xây dựng trong nhiều năm.

Dữ liệu bị lộ từ lớp truy xuất như thế nào?

Phần lớn trợ lý AI nội bộ hiện nay hoạt động theo mô hình RAG. Khi người dùng đặt câu hỏi, hệ thống tìm kiếm các đoạn dữ liệu liên quan trong kho tài liệu rồi chuyển chúng cho mô hình AI để tạo câu trả lời.

Mô hình không tự đi vào SharePoint hay ERP. Một chương trình trung gian thực hiện việc tìm kiếm và cung cấp dữ liệu cho nó.

Rủi ro xuất hiện khi chương trình này sử dụng một tài khoản kỹ thuật có quyền đọc rất rộng. Tài khoản đó có thể cần quyền truy cập nhiều thư mục để lập chỉ mục, nhưng khi nhân viên gửi câu hỏi, hệ thống lại không lọc kết quả theo quyền của chính nhân viên.

Ví dụ, một nhân viên kinh doanh không được phép mở bảng lương của công ty. Tuy nhiên, nếu tài khoản lập chỉ mục có quyền đọc thư mục nhân sự và truy vấn không áp dụng bộ lọc, nội dung bảng lương vẫn có thể được đưa vào ngữ cảnh của AI.

Từ thời điểm đó, yêu cầu mô hình “không tiết lộ thông tin mật” không còn là một biện pháp bảo mật đáng tin cậy. Dữ liệu nhạy cảm lẽ ra không được phép đi đến mô hình ngay từ đầu.

Vì sao hệ thống vẫn vượt qua kiểm thử?

Các bài kiểm thử AI thường tập trung vào ba vấn đề: câu trả lời có đúng không, có liên quan không và có hoàn thành được công việc không.

Một trợ lý tìm được nhiều tài liệu thường cho câu trả lời đầy đủ hơn, vì vậy còn có thể đạt điểm cao. Nhưng kết quả tốt không cho biết người dùng có thực sự được phép xem các tài liệu đó hay không.

Sai sót cũng dễ bị bỏ qua nếu đội dự án chỉ thử nghiệm bằng tài khoản quản trị hoặc một nhóm người có quyền tương tự nhau. Hệ thống cần được kiểm tra bằng nhiều vai trò: nhân viên, quản lý, nhân sự, kế toán, đối tác và tài khoản đã bị thu hồi quyền.

Một câu hỏi giống nhau phải tạo ra phạm vi dữ liệu khác nhau tùy theo người đặt câu hỏi. Nếu tài khoản ít quyền nhận được kết quả giống tài khoản quản trị, đó là dấu hiệu kiến trúc cần được xem xét lại.

Website, CRM và ERP cũng có cùng rủi ro

Vấn đề không giới hạn ở SharePoint. Một trợ lý AI trên cổng thông tin nội bộ có thể được kết nối với hồ sơ khách hàng trong CRM, giá vốn trong ERP, hợp đồng, hóa đơn hoặc dữ liệu nhân sự.

Khi người dùng đăng nhập vào website hoặc web app, danh tính và vai trò của họ phải được truyền xuyên suốt đến lớp truy xuất. Hệ thống không nên xác thực người dùng ở giao diện rồi sử dụng một tài khoản chung để đọc toàn bộ dữ liệu phía sau.

Tài liệu của Microsoft nêu rõ việc kiểm soát ở cấp tài liệu cần sử dụng các bộ lọc bảo mật để giới hạn kết quả theo nhóm quyền của người dùng. Nếu trường xác định nhóm được phép không được ánh xạ, kiểm soát cấp tài liệu sẽ bị vô hiệu hóa. Microsoft cũng xếp nguyên tắc đặc quyền tối thiểu vào nhóm yêu cầu bắt buộc đối với chức năng và công cụ của AI agent.

Khi AI có thể hành động, hậu quả còn lớn hơn

Một trợ lý chỉ đọc dữ liệu có thể làm lộ thông tin. Một agent có quyền hành động còn có thể cập nhật CRM, gửi báo giá, thay đổi đơn hàng hoặc tạo yêu cầu thanh toán.

Vì vậy, phân quyền không thể chỉ dừng ở quyền xem dữ liệu. Doanh nghiệp cần tách riêng quyền đọc, tạo, sửa, phê duyệt và gửi ra bên ngoài. Các hành động có ảnh hưởng đến tài chính, khách hàng hoặc dữ liệu nhạy cảm phải có bước xác nhận của con người.

Ba việc cần hoàn thành trước khi triển khai AI nội bộ

• Xác định rõ từng nguồn dữ liệu, người sở hữu và những vai trò được phép truy cập.
• Kiểm tra quyền ở thời điểm truy vấn, áp dụng đặc quyền tối thiểu và không dùng tài khoản kỹ thuật như một quyền truy cập chung.
• Thử nghiệm bằng tài khoản có quyền khác nhau, đồng thời lưu nhật ký về tài liệu AI đã truy xuất và hành động đã thực hiện.

AI không tự tạo ra một hệ thống quản trị dữ liệu tốt. Nó chỉ khuếch đại kiến trúc mà doanh nghiệp đang có, bao gồm cả những điểm yếu bên trong kiến trúc đó.

Muốn ứng dụng AI bền vững, doanh nghiệp cần đầu tư đồng thời vào dữ liệu, phân quyền, quy trình kiểm thử và khả năng giám sát toàn hệ thống.