Khám phá mô hình

Sử dụng trang Mô hình hoặc API Mô hình để kiểm tra các mô hình văn bản có sẵn. Siêu dữ liệu mô hình bao gồm nhà cung cấp, nhà cung cấp dịch vụ, phương thức, độ dài ngữ cảnh, họ API được hỗ trợ, khả năng được hỗ trợ, tình trạng sẵn có, giới hạn cấp tài khoản và giá tín dụng.

Điểm cuối: GET /v1/models Mục đích: Liệt kê các mô hình sẵn có cho tài khoản hiện tại.

Sao chépcurl --request GET \
  --url https://api.basicrouter.ai/api/v1/models \
  --header "Authorization: Bearer $BASICROUTER_API_KEY"

Ma trận khả năng

Ma trận tương thích họ API

Xác thực

Mọi yêu cầu API đều sử dụng bearer token. Lưu khóa trong biến môi trường phía máy chủ, xoay vòng khi quyền truy cập nhóm thay đổi và ghi lại ID yêu cầu để gỡ lỗi.

Khuyến nghị bảo mật khóa

1. Giữ khóa API trên máy chủ. Không tiết lộ khóa trong mã trình duyệt hoặc ứng dụng khách di động.
2. Sử dụng các khóa riêng biệt cho phát triển, staging, sản xuất và tích hợp bên thứ ba.
3. Phạm vi hóa khóa theo môi trường, dịch vụ, khách hàng hoặc đối tượng thuê khi có sẵn.
4. Xoay vòng khóa sau khi nhân viên nghỉ việc, quyền truy cập nhà cung cấp thay đổi hoặc nghi ngờ rò rỉ.
5. Lưu khóa trong trình quản lý bí mật hoặc biến môi trường, không phải mã nguồn.

Sử dụng bảng điều khiển

Bảng điều khiển BasicRouter là mặt phẳng điều khiển vận hành cho truy cập API, tính khả dụng của mô hình, chính sách định tuyến, hiển thị mức sử dụng và quản lý thanh toán. Nó cung cấp cho quản trị viên tài khoản một chế độ xem tập trung về các khóa, mô hình, yêu cầu, tín dụng và điều khiển cấp tài khoản cho lưu lượng mô hình sản xuất.

Quản lý khóa API

Tạo, xoay vòng, thu hồi và gắn nhãn khóa API từ bảng điều khiển. Sử dụng các khóa riêng biệt cho phát triển, dàn dựng, sản xuất và các dịch vụ riêng lẻ để mức sử dụng có thể được kiểm toán và cô lập theo môi trường hoặc ứng dụng.

Danh sách mô hình

Sử dụng trang Mô hình để xem xét các mô hình sẵn có cho tài khoản. Mỗi mục mô hình có thể bao gồm nhà cung cấp, nhà cung cấp dịch vụ, phương thức, họ API được hỗ trợ, độ dài ngữ cảnh, cờ khả năng, tình trạng sẵn có và thông tin giá.

Cho các ứng dụng sản xuất, xác minh khả năng mô hình trước khi bật lưu lượng. Một số tham số và tính năng phụ thuộc vào mô hình và có thể không được hỗ trợ trên tất cả các họ API.

Sử dụng & nhật ký

Chế độ xem Sử dụng & Nhật ký cung cấp hiển thị vận hành cho lưu lượng API. Các nhóm có thể kiểm tra khối lượng yêu cầu, mô hình đã chọn, mục tiêu định tuyến đã giải quyết, mức tiêu thụ tín dụng, độ trễ, mã lỗi và ID yêu cầu.

• Khắc phục sự cố yêu cầu thất bại.
• Nhận diện các tải công việc chi phí cao.
• So sánh mức sử dụng mô hình giữa các ứng dụng và môi trường.
• Xác thực hành vi định tuyến và dự phòng.
• Điều tra vấn đề độ trễ hoặc tính khả dụng của nhà cung cấp.
• Cung cấp ID yêu cầu khi liên hệ hỗ trợ.

Mỗi phản hồi API bao gồm hoặc tiết lộ một ID yêu cầu BasicRouter. Lưu ID này trong nhật ký ứng dụng của bạn để làm cho việc gỡ lỗi sản xuất và leo thang hỗ trợ hiệu quả hơn.

Dự phòng

Dự phòng là cơ chế khả năng phục hồi của BasicRouter. Khi mô hình chính hoặc chính sách định tuyến thất bại, hệ thống tự động chuyển sang mô hình dự phòng để tiếp tục xử lý yêu cầu. Điều này giữ cho ứng dụng của bạn phản hồi tốt và giảm thiểu rủi ro gián đoạn dịch vụ.

Tại sao dự phòng quan trọng

Trong sản xuất, các dịch vụ mô hình có thể gặp một số vấn đề không thể đoán trước:

• Lỗi dịch vụ mô hình: API thượng nguồn tạm thời không khả dụng hoặc hết thời gian chờ.
• Biến động hiệu suất: tải mô hình cao dẫn đến phản hồi chậm hoặc thất bại.
• Lỗi định tuyến: tất cả các mô hình ứng viên được chọn bằng định tuyến thông minh đều không khả dụng.

Dự phòng giữ cho ứng dụng của bạn sẵn có bằng cách cung cấp một đường dẫn dự phòng đáng tin cậy.

Ưu điểm cốt lõi

Cấu hình mô hình dự phòng toàn cục

BasicRouter hỗ trợ thiết lập mô hình dự phòng toàn cục từ backend bảng điều khiển. Tất cả các yêu cầu tự động sử dụng mô hình này làm dự phòng khi thất bại.

Cách cấu hình:

1. Đi đến trang cài đặt chiến lược BasicRouter.
2. Tìm cài đặt Mô hình dự phòng mặc định.
3. Chọn mô hình dự phòng toàn cục của bạn từ danh sách thả xuống.
4. Lưu cài đặt để áp dụng ngay lập tức.

Ưu điểm của cấu hình toàn cục:

• Không cần thay đổi mã: cấu hình một lần và áp dụng toàn cục, không cần lặp lại cài đặt trên mỗi yêu cầu.
• Quản lý tập trung: quản lý chính sách dự phòng tại một nơi để dễ điều chỉnh và theo dõi hơn.
• Bảo trì đơn giản: giảm độ phức tạp của mã và khả năng xảy ra lỗi cấu hình.
• Ghi đè linh hoạt: cấu hình dự phòng cấp yêu cầu có ưu tiên và có thể ghi đè cài đặt toàn cục cho các kịch bản cụ thể.

Cấu hình dự phòng cấp yêu cầu

Cho các kịch bản kinh doanh cụ thể, bạn có thể chỉ định một mô hình dự phòng trên từng yêu cầu để ghi đè cấu hình toàn cục.

Chỉ định mô hình dự phòng với tham số router.fallBackModels:

Sao chép{
  "model": "claude-sonnet-4",
  "messages": [
    {
      "role": "user",
      "content": "Explain what quantum computing is"
    }
  ],
  "router": {
    "fallBackModels": ["glm-5.2"]
  }
}

Quy tắc ưu tiên

Khi có nhiều cấu hình dự phòng, ưu tiên chạy từ cao nhất đến thấp nhất:

1. router.fallBackModels cấp yêu cầu: mô hình dự phòng được chỉ định trên một yêu cầu riêng lẻ.
2. Mô hình dự phòng mặc định toàn cục: mô hình dự phòng toàn cục được cấu hình trong bảng điều khiển.
3. Không có dự phòng: nếu không cấu hình cái nào, yêu cầu trả về lỗi khi thất bại.

Quản trị tài khoản

Tùy thuộc vào loại tài khoản, bảng điều khiển có thể bao gồm kích hoạt mô hình cấp tài khoản, điều khiển đại lý phân phối hoặc nhà phân phối, cấu hình thanh toán và cài đặt truy cập. Quản trị viên có thể sử dụng các điều khiển này để căn chỉnh quyền truy cập mô hình, hiển thị mức sử dụng và trách nhiệm thanh toán với các ứng dụng, tài khoản khách hàng hoặc đơn vị kinh doanh.

Danh sách kiểm tra vận hành sản xuất

Thanh toán & tín dụng

BasicRouter sử dụng mô hình thanh toán dựa trên tín dụng cho các tải công việc mô hình văn bản, hình ảnh, video và các loại khác được hỗ trợ. Tín dụng cung cấp một đơn vị thống nhất cho việc sử dụng đa mô hình và đa nhà cung cấp để các nhóm có thể quản lý mức tiêu thụ một cách nhất quán trên các phương thức và họ API.

Giá mô hình chi tiết có sẵn trên trang Mô hình hoặc qua các API siêu dữ liệu mô hình. Giá có thể thay đổi theo mô hình, nhà cung cấp, phương thức, độ phân giải, loại token, độ dài đầu ra, thời gian tác vụ, loại tài khoản và thỏa thuận thương mại.

Nạp tiền & ví

Tài khoản có thể thêm tín dụng ví trả theo mức dùng cho sử dụng linh hoạt. Tín dụng ví được sử dụng sau khi tín dụng gói hàng tháng và gói tài nguyên đã được tiêu thụ, trừ khi một quy tắc thanh toán tùy chỉnh áp dụng cho tài khoản.

Tín dụng ví không hết hạn trừ khi được chỉ định khác trong điều khoản thương mại áp dụng. Phí dịch vụ được tính khi nạp lại ví trả theo mức dùng.

Gói hàng tháng và gói tài nguyên

Mỗi người dùng hoặc tài khoản có thể chọn một gói hàng tháng đang hoạt động. Gói hàng tháng cung cấp một lượng năng lực sử dụng xác định, điều khoản thương mại và cấu hình truy cập cấp tài khoản cho kỳ thanh toán.

Người dùng cũng có thể mua nhiều gói tài nguyên để có thêm năng lực sử dụng. Gói tài nguyên có thể tách biệt mức sử dụng cam kết khỏi số dư ví trả theo mức dùng và hữu ích cho sử dụng khối lượng lớn văn bản, hình ảnh, video hoặc tải công việc chuyên biệt.

Thứ tự khấu trừ

Trừ khi cấu hình quy tắc thanh toán tùy chỉnh, tín dụng được khấu trừ theo thứ tự sau:

Cho các tài khoản có điều khoản thương mại tùy chỉnh, thứ tự khấu trừ, quy tắc hết hạn, mức sử dụng đi kèm và giá có thể khác. Quy tắc cụ thể theo tài khoản được hiển thị trong bảng điều khiển hoặc cung cấp qua thỏa thuận thương mại.

Định giá tùy chỉnh

Giá có thể được tùy chỉnh cho mỗi người dùng hoặc tài khoản. Khách hàng doanh nghiệp, tài khoản đại lý phân phối, tài khoản nhà phân phối và khách hàng khối lượng lớn có thể đủ điều kiện cho giá tùy chỉnh. Liên hệ bộ phận bán hàng để nhận báo giá.

Giá tùy chỉnh có thể được cấu hình theo tài khoản, mô hình, nhà cung cấp, phương thức, khu vực, khối lượng sử dụng hoặc thỏa thuận thương mại. Khi giá tùy chỉnh được bật, bảng điều khiển và API thanh toán phản ánh giá và quy tắc khấu trừ cụ thể theo tài khoản khi có sẵn.

Đơn vị giá

Các phương thức mô hình khác nhau sử dụng các đơn vị đo lường khác nhau. BasicRouter quy đổi các đơn vị này thành tín dụng theo quy tắc giá của mô hình.

Đơn vị giá có thể thay đổi theo mô hình. Luôn tham khảo trang chi tiết mô hình hoặc siêu dữ liệu giá trước khi bật một mô hình trong sản xuất.

Gán mức sử dụng

Mức sử dụng BasicRouter có thể được xem xét theo tài khoản, khóa API, mô hình, phương thức hoặc phạm vi thời gian. Điều này cho phép các nhóm gán chi phí cho ứng dụng, môi trường, khách hàng hoặc đơn vị kinh doanh nội bộ.

Số dư tín dụng

Kiểm tra xem có bao nhiêu tín dụng sẵn có trên tài khoản của bạn. Số dư được chia thành ba ví được khấu trừ theo thứ tự: hạn mức gói hàng tháng, gói tài nguyên đã mua và ví trả theo mức dùng. Tổng tài nguyên kết hợp (gói hàng tháng + gói tài nguyên, không bao gồm trả theo mức dùng) cũng có sẵn để theo dõi mức sử dụng đi kèm tách biệt khỏi chi tiêu nạp tiền.

Để truy xuất theo chương trình, xem GET /v1/billing/balance trong Tài liệu API.

Chi tiết sử dụng

Xem xét danh sách theo trang, theo thời gian của các bản ghi sử dụng riêng lẻ để báo cáo, theo dõi và phân bổ chi phí nội bộ. Mỗi bản ghi hiển thị mô hình, loại mô hình (văn bản, hình ảnh hoặc video), tín dụng đã khấu trừ và phân tích từng ví mà mỗi khoản khấu trừ được rút từ. Kết quả có thể được lọc theo một phạm vi thời gian cụ thể.

Để truy xuất theo chương trình, xem GET /v1/usage trong Tài liệu API.

Lịch sử giao dịch

Sử dụng lịch sử giao dịch để xem xét các biến động tín dụng, bao gồm nạp tiền, phân bổ gói, cấp gói tài nguyên, khấu trừ mức sử dụng, điều chỉnh và hiệu chỉnh hành chính.

Để truy xuất theo chương trình, xem GET /v1/billing/transactions trong Tài liệu API.

Yêu cầu thất bại và hoàn tiền

Lỗi xác thực, lỗi xác thực danh tính và lỗi quyền thường không được tính phí vì không có thực thi mô hình nào xảy ra. Các yêu cầu đến một mô hình thượng nguồn hoặc tạo đầu ra một phần có thể tiêu thụ tín dụng tùy thuộc vào mô hình, nhà cung cấp và trạng thái phản hồi.

Cho các tác vụ hình ảnh và video không đồng bộ, hành vi thanh toán phụ thuộc vào việc tác vụ đã được chấp nhận, bắt đầu, hoàn thành, thất bại hay hủy. Phản hồi chi tiết tác vụ bao gồm thông tin sử dụng khi tín dụng đã được tiêu thụ.

Nạp tiền, gói hàng tháng, gói tài nguyên và tín dụng đã tiêu thụ không thể hoàn lại trừ khi được chỉ định khác trong thỏa thuận thương mại áp dụng hoặc yêu cầu bởi pháp luật.

Vận hành

Lỗi

BasicRouter trả về mã lỗi ổn định để ứng dụng có thể xử lý thử lại, dự phòng, vấn đề thanh toán và gỡ lỗi một cách nhất quán.

Các điểm cuối tương thích nhà cung cấp cố gắng giữ nguyên hình dạng lỗi của họ API gốc khi có thể. Các điểm cuối native BasicRouter sử dụng đối tượng lỗi BasicRouter.

Ánh xạ trạng thái HTTP và mã lỗi

Mã lỗi phổ biến