tscg: Trình biên dịch Token-Context mở rộng khả năng công cụ của đại lý
tscg, từ SKZL AI, là một trình biên dịch xác định tối ưu hóa ngân sách ngữ cảnh của các tác nhân AI cho các quy trình làm việc tác nhân. Nó nén các sơ đồ công cụ JSON phức tạp thành một ngữ pháp tiết kiệm token để các mô hình có thể tham chiếu đến các bộ công cụ lớn hơn và dữ liệu RAG mà không bị tràn ngữ cảnh. Công cụ này báo cáo tiết kiệm 50–72% token cho các định nghĩa công cụ dài dòng và nhắm đến các kỹ sư AI triển khai các LLM cục bộ hoặc bị hạn chế, những người cần các biểu diễn công cụ nhỏ gọn và dự đoán được.
Bạn có thể sử dụng nó cho những nhiệm vụ nào?
Công cụ được cung cấp dưới dạng máy chủ MCP và gói npm, và nó nhắm đến các triển khai dựa trên Node.js trên các máy chủ tương thích MCP như Claude Desktop, Cursor và Windsurf. Các tích hợp bao gồm hỗ trợ cho LangChain và Vercel AI SDK, điều này làm cho nó có thể sử dụng ở nơi mà mã tác nhân lắp ráp các cuộc gọi công cụ hoặc chuỗi RAG. Trên thực tế, các nhóm áp dụng nó để giảm thiểu chi phí prompt khi các tác nhân phải liệt kê hoặc tham chiếu nhiều công cụ bên ngoài trong thời gian chạy.
Nó ảnh hưởng đến hành vi và độ chính xác của mô hình như thế nào?
Các bài kiểm tra độc lập và ghi chú của nhà phát triển báo cáo rằng việc sử dụng tscg giảm thiểu 'tiếng ồn' của prompt và ngăn chặn tràn cửa sổ ngữ cảnh, những kết quả có thể cải thiện độ chính xác của cuộc gọi công cụ cho các mô hình địa phương nhỏ hơn như Phi-4. Việc triển khai đã được chứng minh là cho phép các hệ thống tác nhân xử lý các bộ công cụ rất lớn trong các thí nghiệm, bao gồm các lần chạy với hơn 800 công cụ, nơi mà các mô hình khác không thể sử dụng toàn bộ bộ công cụ.
Đặc điểm thời gian chạy và quyền riêng tư là gì?
tscg được triển khai bằng TypeScript mà không có phụ thuộc bên ngoài và thực thi nhanh chóng, với thời gian chạy được báo cáo khoảng 2,4 mili giây cho một bộ 50 công cụ. Nó chạy trên các CPU tiêu chuẩn mà không yêu cầu GPU và thực hiện biên dịch của nó cục bộ, không cần các cuộc gọi API bên ngoài, điều này hỗ trợ các triển khai ngoại tuyến hoặc riêng tư. Gói bao gồm định dạng nhận thức nhà cung cấp cho các máy chủ Anthropic, OpenAI và Ollama.
Thực tiễn cho các kỹ sư tập trung vào giới hạn số lượng công cụ, không phải là một bộ công cụ địa phương hóa
tscg là một lựa chọn thực tiễn cho các kỹ sư AI cần mở rộng số lượng công cụ có thể gọi bên trong các mô hình bị hạn chế; nó được đánh giá cao trong cộng đồng nghiên cứu AI tác động vì đã giải quyết được sự đánh đổi giữa công cụ và ngữ cảnh. Sự chuyên môn hóa của nó trong việc nén lược đồ có nghĩa là các nhóm tìm kiếm các tính năng cụ thể cho địa phương hóa nên xem xét liệu phạm vi tập trung này có phù hợp với các mục tiêu của họ hay không.
