3 Baris Kode, Ubah OpenAI SDK ke Gateway Terpadu TonBo
Integrasi Token API kompatibel OpenAI menjadi solusi praktis bagi tim developer yang ingin mengonsolidasikan infrastruktur AI tanpa mengorbankan fleksibilitas. Token API TonBo sepenuhnya kompatibel dengan protokol endpoint OpenAI—kode Python / Node / Go yang sudah berjalan dengan OpenAI SDK dapat beralih ke gateway terpadu TonBo hanya dengan mengubah 3 baris konfigurasi base_url dan api_key, satu kali panggilan menghubungkan GPT-5, Claude 4.5 Opus, Gemini 2.5 Pro, Grok 4, Llama 4, dan 50+ model besar lainnya. Tidak perlu menulis lapisan adaptasi terpisah untuk setiap penyedia layanan, tidak perlu memelihara 5 API Key, dan tagihan Anda hanya satu lembar.
Arsitektur ini didesain berdasarkan pengalaman nyata tim engineering yang mengelola multiple project AI. Bayangkan skenario umum: satu repository menggunakan GPT-4 untuk summarization, repository lain menggunakan Claude untuk code review, dan service ketiga bereksperimen dengan Gemini untuk multimodal processing. Tanpa gateway terpadu, Anda memiliki tiga SDK berbeda, tiga set credential, tiga dashboard billing, dan tiga pola error handling yang berbeda. Token API TonBo menyederhanakan ini menjadi satu interface, satu API Key, satu log konsumsi.
Langkah Pertama: Dapatkan Token dan base_url
Kuota Token Bulanan Termasuk dalam Setiap Langganan
Setiap paket langganan TonBo mencakup kuota Token bulanan, mencakup model flagship, model cepat, dan model bobot sumber terbuka. Paket Basic mendapat 5M token per bulan, paket Pro 20M, paket Team 50M yang dapat didistribusikan ke 5 akun. Token API dan workbench percakapan AI berbagi kuota yang sama—token yang dikonsumsi dalam percakapan dan token yang dikonsumsi oleh panggilan kode dipotong dari satu tagihan.
Pembagian kuota ini penting untuk tim yang menggabungkan workflow manual dan otomatis. Misalnya, product manager menggunakan workbench untuk eksplorasi prompt, sementara engineer menjalankan evaluasi batch via API—keduanya mengambil dari pool yang sama, memudahkan forecasting dan kontrol anggaran. Overage dihitung per 1000 token dengan transparansi penuh, tanpa minimum commitment atau surprise charge.
Buat API Key dengan Satu Klik di Konsol
Login ke konsol TonBo, masuk ke "Developer → Token API", klik "Generate API Key" untuk mendapatkan string kunci yang dimulai dengan sk-tb-. base_url tetap https://api.tonboai.com/v1. Catat kedua nilai ini, kemudian masukkan ke konfigurasi SDK.
Keamanan Credential dan Rotasi Key
Token API TonBo mendukung multiple key per akun dengan granular permission. Anda dapat membuat key terpisah untuk environment development, staging, dan production—masing-masing dengan limit rate dan model whitelist yang berbeda. Fitur rotasi key memungkinkan revoke dan regenerate tanpa downtime, karena key baru aktif sebelum key lama expired. Semua akses tercatat di audit log dengan timestamp, IP origin, dan model yang diakses, memudahkan compliance review dan debugging incident.
Langkah Kedua: Ubah 3 Baris Kode untuk Integrasi
Python: openai SDK
Cara inisialisasi SDK Python resmi seperti berikut, ganti api_key dan base_url dengan nilai TonBo:
from openai import OpenAI
client = OpenAI(
api_key="sk-tb-xxxxxxxxxx",
base_url="https://api.tonboai.com/v1",
)
resp = client.chat.completions.create(
model="claude-4-5-sonnet",
messages=[{"role": "user", "content": "Tulis implementasi quick sort"}],
)
print(resp.choices[0].message.content)Node.js: openai SDK
Di sisi Node, hanya ubah dua baris:
import OpenAI from "openai";
const client = new OpenAI({
apiKey: "sk-tb-xxxxxxxxxx",
baseURL: "https://api.tonboai.com/v1",
});
const resp = await client.chat.completions.create({
model: "gpt-5",
messages: [{ role: "user", content: "Berikan saya tiga solusi kunci terdistribusi Redis" }],
});
console.log(resp.choices[0].message.content);Go: go-openai
sashabaranov/go-openai adalah standar de facto ekosistem Go, juga dapat beralih langsung:
import openai "github.com/sashabaranov/go-openai"
cfg := openai.DefaultConfig("sk-tb-xxxxxxxxxx")
cfg.BaseURL = "https://api.tonboai.com/v1"
client := openai.NewClientWithConfig(cfg)
resp, _ := client.CreateChatCompletion(ctx, openai.ChatCompletionRequest{
Model: "gemini-2-5-pro",
Messages: []openai.ChatCompletionMessage{
{Role: openai.ChatMessageRoleUser, Content: "Jelaskan teorema CAP"},
},
})Pattern Advanced: Fallback dan Routing Dinamis
Untuk production workload, Anda dapat mengimplementasikan circuit breaker yang mencoba model utama dan beralih otomatis ke alternatif jika terjadi timeout atau rate limit. Karena semua model menggunakan interface sama, fallback tidak memerlukan transformasi payload:
models = ["claude-4-5-opus", "gpt-5", "gemini-2-5-pro"]
for model in models:
try:
return client.chat.completions.create(model=model, messages=messages)
except RateLimitError:
continuePattern ini mengurangi dependency single vendor dan meningkatkan availability tanpa kompleksitas arsitektur tambahan.
Langkah Ketiga: Beralih Model Hanya Ubah Parameter model
Semua 50+ model besar di gateway terpadu TonBo menggunakan protokol Chat Completions yang sama, beralih model hanya ubah satu field model:
gpt-5— Penalaran flagship OpenAI + Agentgpt-4o— Multimodal OpenAI + streaming biaya rendahclaude-4-5-opus— Konteks panjang Anthropic untuk generasi kodeclaude-4-5-sonnet— Model default Agent throughput tinggi Anthropicgemini-2-5-pro— Konteks super panjang Google + multimodalgrok-4— Penalaran xAI + pencarian real-timellama-4-maverick— Flagship bobot sumber terbuka Metadeepseek-v3-2— Bobot sumber terbuka kode dan penalaran DeepSeekqwen-3-max— Model native bahasa Mandarin sumber terbuka Alibaba
Lihat daftar lengkap di halaman direktori model konsol, model baru atau penyesuaian tingkat akan otomatis muncul di bawah API yang sama, klien tidak perlu upgrade.
Perbandingan Umum: Token API TonBo vs API Resmi Langsung
| Dimensi | Token API TonBo | API Resmi Langsung |
|---|---|---|
| Kompatibilitas SDK | 100% kompatibel OpenAI, ubah base_url saja | Setiap penyedia punya SDK sendiri |
| Beralih Model Ganda | Hanya ubah parameter model | Perlu beralih SDK, redo lapisan adaptasi |
| Manajemen API Key | Satu | N kunci |
| Tagihan | Berdasarkan paket langganan + overage per penggunaan | Tagihan terpisah untuk setiap penyedia |
| Saluran Jaringan | Termasuk terowongan keamanan AI, latensi rendah stabil | Tergantung jaringan lokal |
| Kecepatan Efektif | 3 baris perubahan langsung berlaku | Setiap penambahan penyedia perlu kontrak ulang |
| Error Handling | Format error standar OpenAI di semua model | Format berbeda per penyedia |
| Observabilitas | Unified logging dan metrik di satu dashboard | Perlu aggregasi manual dari multiple source |
FAQ: Pertanyaan Umum tentang Integrasi Token API
Apakah saya perlu mengubah struktur response handling?
Tidak. Response format mengikuti spesifikasi OpenAI Chat Completions secara identik—choices, message, content, usage tokens, dan finish_reason semua ada di posisi yang sama. Kode parsing yang sudah Anda tulis untuk OpenAI SDK akan bekerja tanpa modifikasi. Perbedaan hanya di model identifier dan kemampuan spesifik model (misalnya, beberapa model mendukung image input, beberapa tidak).
Bisakah menggunakan Token API dengan framework seperti LangChain atau LlamaIndex?
Ya. Framework tersebut umumnya menerima custom OpenAI-compatible client atau mengizinkan override base_url dan api_key. Inisialisasi client TonBo kemudian pass ke ChatOpenAI constructor (LangChain) atau OpenAI LLM wrapper (LlamaIndex). Semua fitur chaining, agent, dan retrieval akan berfungsi normal karena underlying protocol identik.
Bagaimana dengan streaming response?
Streaming didukung penuh dengan parameter stream=True. Chunk format mengikuti OpenAI SSE spec—delta content, finish_reason, dan usage dikirim secara incremental. Latensi time-to-first-token bervariasi per model, biasanya 200-800ms untuk model flagship. Terowongan keamanan AI TonBo mengoptimasi routing untuk mengurangi jitter di jaringan internasional.
Apakah ada rate limit?
Ya, dengan tier yang bergantung pada paket langganan. Basic: 60 req/menit, Pro: 300 req/menit, Team: 1000 req/menit dengan burst allowance. Limit ini adalah soft limit—request melebihi threshold akan mengembalikan 429 dengan Retry-After header, bukan hard block. Untuk workload enterprise dengan volume tinggi, tim TonBo dapat mengkonfigurasi dedicated capacity.
Bisakah saya menggunakan Token API untuk fine-tuning?
Saat ini fine-tuning belum tersedia melalui Token API. Endpoint yang didukung adalah chat completions, embeddings, dan beberapa model-specific features seperti code generation. Fine-tuning tetap melalui provider asli jika diperlukan, meskipun sebagian besar use case modern cukup dengan prompt engineering dan retrieval augmentation.
Integrasi Sekali, 50+ Model Besar Siap Digunakan
Token API TonBo adalah kemampuan standar langganan, berbagi satu tagihan dan satu kuota dengan terowongan keamanan AI dan workbench percakapan terpadu. Pola integrasi 3 baris kode ini telah diadopsi oleh ratusan tim development dari startup hingga enterprise, mengurangkan waktu onboarding dari hari menjadi menit.
Workflow tipikal setelah integrasi: engineer menulis feature dengan GPT-5, menemukan use case yang membutuhkan konteks lebih panjang, beralih ke Claude 4.5 Opus dengan mengganti satu string, melakukan A/B test performa tanpa refactor kode, kemudian deploy ke production dengan confidence. Fleksibilitas ini mengubah eksperimen model dari project infrastruktur menjadi decision produk semata.
Lihat dokumentasi Token API untuk detail endpoint lengkap, contoh error handling, dan webhook notification. Atau daftar akun TonBo sekarang—tidak perlu kartu kredit untuk tier Basic, dan 3 baris kode sudah cukup untuk menjalankan permintaan pertama Anda melalui gateway terpadu.
