Routing Model: Lebih dari Sekadar Pilih Model

IBM Research mengungkap bahwa routing model dalam sistem agen bukan sekadar mengklasifikasikan tugas lalu memilih model termurah. Mereka menemukan bahwa biaya sebenarnya dipengaruhi oleh caching, bukan hanya harga token; contohnya, Claude Sonnet 4.6 ($0,19/task) lebih murah dari GPT-4.1 ($0,37/task) pada 417 tugas AppWorld karena cache pricing yang lebih rendah meskipun Sonnet tiga kali lebih banyak langkah reasoning. Kompleksitas tugas sering tidak terlihat saat routing, dan latensi bergantung pada infrastruktur, bukan hanya ukuran model. Sebagai solusi, mereka mengembangkan router berbasis optimasi multi-obyektif (biaya, kualitas, latensi) yang hanya membutuhkan 6 ms dan 2 KB memori per tugas, menghasilkan frontier cost-accuracy yang lebih baik dibandingkan router berbasis kesulitan. Routing adalah masalah optimasi sistem, bukan klasifikasi.

Penjelasan Mendalam

IBM menguji routing pada AppWorld Test Challenge dengan CodeAct agent, membandingkan biaya aktual Sonnet 4.6 vs GPT-4.1. Meskipun GPT-4.1 memiliki harga token lebih rendah, Sonnet unggul karena biaya cache-read yang lebih murah dan reuse konteks yang tinggi dari agen. Ini menunjukkan bahwa mengoptimalkan hanya pada sticker price menyesatkan. Selain itu, router tradisional yang mengestimasi kesulitan task gagal karena kesulitan baru terlihat saat eksekusi dan harus mempertimbangkan compliance, data residency, dan approval lists. Latensi dipengaruhi oleh routing overhead, hardware, cache state, dan granularity routing (per task vs per step). Router IBM mengoptimalkan secara simultan dengan lightweight optimization (6ms, 2KB) dan menghasilkan tradeoff yang dapat dipilih pengguna, misalnya konfigurasi latency-optimized: 84% akurasi, $93, 83s (21% lebih murah, 9% lebih cepat dari Opus). Ini membuktikan routing sebagai optimasi sistem, bukan klasifikasi model.

Kenapa Ini Penting

Bagi praktisi AI Indonesia, pemahaman ini krusial untuk mengelola budget inferensi, terutama ketika menggunakan banyak model dari berbagai provider. Mengabaikan caching dan faktor infrastruktur dapat membuat biaya membengkak tanpa sadar, sementara router yang dioptimalkan dengan benar bisa menekan biaya hingga 21% tanpa mengorbankan akurasi secara signifikan.

Untuk Siapa

Teknisi, AI engineer, dan arsitek yang membangun sistem agen, chatbot, atau pipeline yang perlu memilih model secara dinamis berdasarkan berbagai constraint (biaya, latensi, compliance).

Contoh Use Case

• Agen layanan pelanggan yang merutekan pertanyaan sederhana ke model murah (misal Llama 3.2) dan pertanyaan kompleks ke GPT-4.1.
• Platform dokumentasi otomatis yang memilih model berdasarkan panjang dokumen dan kebutuhan retrieval, memanfaatkan caching untuk mengurangi biaya.
• Sistem multi-model di perusahaan yang harus mematuhi data residency: router memastikan data tetap di server lokal meskipun model luar lebih baik.
• Aplikasi code generation yang menggunakan Claude untuk kode Python dan Gemini untuk multimodal, dengan router mengoptimalkan biaya dan latensi per permintaan.
• Startup yang menawarkan API AI dengan berbagai model, menggunakan routing berbasis optimasi untuk menekan biaya server dan memberikan harga kompetitif.

Cara Mulai

1. Catat biaya aktual model dengan mengukur total token dan cache hit rate pada beban kerja Anda, bukan hanya melihat harga token dari website provider.
2. Implementasikan eksperimen sederhana: jalankan 100 task menggunakan beberapa model dengan agent yang sama, lalu catat cost, latency, dan accuracy.
3. Gunakan pendekatan optimasi multi-obyektif, misalnya dengan library seperti RouteLLM atau tulis custom optimizer yang mempertimbangkan cost, latency, dan quality score.
4. Uji dua granularity routing: per task (setiap awal task) vs per step (setiap langkah agen), ukur overhead dan manfaatnya.
5. Visualisasikan frontier cost-accuracy seperti yang dilakukan IBM untuk menemukan titik operasi optimal sesuai prioritas Anda (hemat biaya, cepat, atau akurat).

Peran: AI System Architect
Konteks: Saya membaca artikel IBM tentang routing model yang menekankan caching dan optimasi multi-obyektif. Saya ingin merancang router untuk sistem agen saya.
Tugas: Buat kerangka router yang mengoptimalkan biaya dan kualitas dengan mempertimbangkan cache hit rate, latency infrastruktur, dan compliance. Sertakan parameter yang perlu dimonitor dan rumus skor keputusan sederhana.
Format Output: Daftar langkah implementasi, parameter yang dipantau, dan pseudocode fungsi routing utama.
Batasan: Bahasa Indonesia, maksimal 300 kata, fokus pada practical steps bukan teori.

Insight Bisnis

Peluang untuk menyediakan layanan Model-Routing-as-a-Service bagi perusahaan yang menggunakan banyak model AI, membantu mereka menghemat biaya 10-20% sambil mempertahankan performa, dengan model bisnis SaaS atau konsultan optimasi.

FAQ