Google đã ra mắt bản xem trước của Genkit Agents API dành cho TypeScript và Go, bổ sung thêm tính năng “detached turns” (phiên làm việc tách biệt) và rào chắn “human-in-the-loop” (con người tham gia kiểm soát) để giúp việc xây dựng và kiểm soát các tác nhân AI (AI agents) cấp độ sản xuất trở nên dễ dàng hơn.

Tại sao API mới này lại quan trọng

Các nhà phát triển từ lâu đã phải vật lộn với hai vấn đề khi triển khai các tác nhân AI: các tác vụ chạy lâu gây đình trệ toàn bộ quy trình (pipeline), và sự khó khăn trong việc đảm bảo các hành động an toàn, đáng tin cậy. “Detached turns” cho phép một tác nhân tiếp tục thực hiện một hoạt động kéo dài mà không làm khóa luồng công việc xung quanh, trong khi tùy chọn human-in-the-loop bắt buộc phải có sự xem xét thủ công trước khi kết quả của tác nhân được áp dụng. Cùng với nhau, chúng giúp giảm thời gian chết và ngăn ngừa những sai lầm tốn kém.

Con đường dẫn đến đây

Đầu năm nay, các framework mã nguồn mở và dịch vụ đám mây đã bắt đầu cung cấp các thành phần "plug-and-play" (cắm là chạy) cho AI hội thoại, nhưng hầu hết đều buộc các nhà phát triển phải viết mã điều phối (orchestration code) tùy chỉnh. Genkit của Google lấp đầy khoảng trống đó bằng một SDK cấp cao hơn, giúp loại bỏ các mã lặp lại (boilerplate) trong việc xử lý yêu cầu, quản lý trạng thái và lựa chọn mô hình.

Các tính năng này thực sự làm được gì

  • Detached turns: Khi một tác nhân cần lấy dữ liệu từ một API bên ngoài, chạy một chuỗi suy luận nhiều bước hoặc chờ đầu vào từ người dùng, nó sẽ chuyển công việc đó cho một tiến trình chạy ngầm. Luồng công việc chính sẽ nhận một trình giữ chỗ (placeholder) và tiếp tục thực hiện, tránh việc phải dừng hoàn toàn gây tắc nghẽn các tác vụ hạ nguồn (downstream tasks).
  • Human-in-the-loop: Trước khi quyết định của tác nhân được thực thi—chẳng hạn như phê duyệt một khoản vay hoặc cập nhật cơ sở dữ liệu—một thông báo trên giao diện người dùng (UI prompt) sẽ xuất hiện để người kiểm duyệt xem xét. Người kiểm duyệt có thể chấp nhận, sửa đổi hoặc từ chối đề xuất, mang lại cho các tổ chức một mạng lưới an toàn mà không cần từ bỏ việc tự động hóa.

Các công cụ bổ trợ đang xuất hiện

Cùng với Genkit, cộng đồng mã nguồn mở đang triển khai các tiện ích giải quyết vấn đề về chi phí và gỡ lỗi (debugging), hai điểm yếu thường gặp trong các quy trình AI.

  • ORA: Một bộ điều phối tác vụ dựa trên Go được đóng gói dưới dạng một tệp nhị phân duy nhất. Nó chia nhỏ các công việc lớn thành các tác vụ phụ nhỏ hơn và tự động chuyển mỗi tác vụ đến mô hình rẻ nhất có khả năng xử lý, giúp các nhóm kiểm soát chi phí đám mây.
  • Python AI error explainer: Một thư viện tiếp nhận các vết ngăn xếp (stack traces) và nhật ký (logs) khó hiểu, sau đó trả về bản tóm tắt bằng ngôn ngữ bình dân, nguyên nhân có thể xảy ra và các bước khắc phục. Bằng cách chuyển đổi dữ liệu lỗi thô thành thông tin hữu ích có thể thực hiện được, nó giúp tăng tốc vòng lặp phản hồi của nhà phát triển.

Ai thắng, ai lo lắng

Điều cần theo dõi tiếp theo

Nếu bản xem trước thực hiện đúng những gì đã hứa, các tác nhân AI có thể chuyển mình từ những chatbot thử nghiệm thành các thành phần đáng tin cậy mà doanh nghiệp có thể tin tưởng để thực hiện hành động, tạm dừng và yêu cầu trợ giúp khi gặp các tình huống quan trọng.