Encoder Cepat Konteks Panjang dari Liquid AI: LFM2.5-Encoders

Liquid AI meluncurkan dua encoder baru, LFM2.5-Encoder-230M dan LFM2.5-Encoder-350M, yang dioptimalkan untuk inferensi konteks panjang hingga 8.192 token. Keduanya mampu menyamai atau melampaui kualitas encoder besar seperti ModernBERT-base pada benchmark GLUE, SuperGLUE, dan tugas multilingual, namun dengan kecepatan 3,7 kali lebih cepat di CPU pada konteks panjang. Model ini dibangun dari arsitektur LFM2 decoder yang diubah menjadi encoder bidirectional dengan masked language modeling. Pengembang dapat langsung menggunakannya untuk klasifikasi, routing intent, deteksi PII, dan fine-tuning untuk tugas spesifik. Semua model tersedia secara terbuka di Hugging Face.

Penjelasan Mendalam

LFM2.5-Encoders dibangun dengan mengambil backbone decoder LFM2 (230M dan 350M) dan mengubahnya menjadi encoder bidirectional. Modifikasi utama meliputi: (1) bidirectional attention mask sehingga setiap token melihat konteks kiri dan kanan, (2) non-causal short convolutions yang dipad secara simetris untuk mencampur tetangga, (3) masked language modeling dengan 30% token dimask. Pelatihan dilakukan dalam dua tahap: pertama, general language competence pada konteks 1.024 token dengan data web besar; kedua, long-context adaptation hingga 8.192 token untuk memperkuat kemampuan faktual, hukum, dan multilingual. Hasil benchmark menunjukkan LFM2.5-Encoder-350M menempati peringkat ke-4 dari 14 model, diungguli hanya oleh model yang lebih besar (termasuk model 3,5B). LFM2.5-Encoder-230M mengalahkan ModernBERT-base dan semua model EuroBERT meskipun ukurannya lebih kecil. Pada pengukuran kecepatan CPU, saat input 8.192 token, ModernBERT-base membutuhkan lebih dari 90 detik per forward pass, sedangkan LFM2.5-Encoder-230M hanya sekitar 28 detik (3,7x lebih cepat). Pada GPU, superioritas tampak mulai dari ~2.000 token ke atas.

Kenapa Ini Penting

Bagi praktisi AI Indonesia, LFM2.5-Encoders memungkinkan pemrosesan dokumen panjang (kontrak, transkrip, tiket dukungan) secara cepat dan murah hanya dengan CPU laptop, mengurangi ketergantungan pada GPU mahal. Ini sangat relevan untuk startup dan UKM yang ingin membangun sistem NLP produksi tanpa biaya infrastruktur tinggi.

Untuk Siapa

Pengembang NLP, data scientist, dan engineer yang membangun sistem klasifikasi, routing intent, deteksi PII, atau ekstraksi informasi pada dokumen panjang dan membutuhkan inferensi berbiaya rendah, terutama di lingkungan dengan sumber daya terbatas atau berbasis CPU.

Contoh Use Case

• Zero-shot prompt routing: mendefinisikan jalur routing dalam teks bebas dan menilai prompt terhadap setiap jalur dalam satu langkah.
• Policy linting zero-shot: memeriksa kepatuhan teks terhadap aturan perusahaan yang ditulis dalam teks bebas, dengan skor per token terhadap setiap aturan.
• Deteksi PII: mendeteksi dan menghapus 40 jenis informasi pribadi dalam 16 bahasa, termasuk bahasa Indonesia.
• Klasifikasi dokumen hukum: memproses kontrak panjang (8k token) untuk mengidentifikasi klausul berisiko dalam waktu <30 detik di CPU.
• Spell checking token-by-token: mengoreksi kesalahan ejaan pada teks panjang secara efisien.

Cara Mulai

1. Install transformers versi terbaru: pip install -U transformers.
2. Muat model dengan AutoModelForMaskedLM.from_pretrained('LiquidAI/LFM2.5-Encoder-230M', trust_remote_code=True).
3. Jalankan masked token prediction langsung pada teks, misalnya untuk melengkapi kalimat.
4. Untuk tugas downstream, dapatkan body model dengan AutoModel.from_pretrained(...) dan tambahkan kepala klasifikasi/regresi sendiri, lalu fine-tune.
5. Jika menggunakan GPU, instal Flash Attention 2 untuk efisiensi lebih: pip install flash-attn.

Peran: Anda adalah AI engineer spesialis NLP dan deployment model.
Konteks: Saya baru mendownload LFM2.5-Encoder-230M dari Hugging Face dan ingin melakukan fine-tuning untuk deteksi sentimen pada ulasan produk berbahasa Indonesia dengan konteks maksimal 512 token.
Tugas: Berikan langkah-langkah konkret untuk fine-tuning menggunakan PyTorch dan transformers, termasuk cara menyiapkan dataset, membuat dataloader, dan training loop sederhana.
Format Output: Kode Python dengan komentar, dimulai dari impor hingga evaluasi, dengan asumsi dataset berada di file CSV kolom 'text' dan 'label'.
Batasan: Gunakan GPU jika tersedia, tulis dalam Bahasa Indonesia, panjang kode maksimal 80 baris.

Insight Bisnis

Peluang bisnis: membangun API klasifikasi dokumen murah atau layanan policy linting untuk perusahaan yang membutuhkan pemrosesan dokumen panjang secara real-time dengan biaya rendah. Model ini memungkinkan solusi SaaS berbasis CPU yang dapat diskalakan tanpa GPU.

FAQ