Nunchaku Lite: Inferensi 4-bit di Diffusers untuk GPU Konsumen

Nunchaku Lite kini terintegrasi langsung ke Diffusers, memungkinkan pemuatan model kuantisasi 4-bit seperti ERNIE-Image-Turbo dengan sekali panggil from_pretrained(). Metode kuantisasi SVDQuant menjalankan transformer dengan bobot dan aktivasi 4-bit (W4A4), mengurangi VRAM hingga 50% dan memberikan speedup 1.35x hingga 1.8x jika dikombinasikan dengan torch.compile. Tersedia varian NVFP4 untuk GPU Blackwell (RTX 50 series) dan INT4 untuk Turing/Ampere/Ada (RTX 30/40). Nunchaku Lite juga mendukung kuantisasi text encoder dengan bitsandbytes NF4 untuk penghematan VRAM tambahan.

Penjelasan Mendalam

SVDQuant mengatasi outlier pada bobot dan aktivasi dengan memindahkan outlier aktivasi ke dalam bobot, lalu merepresentasikan bagian tersulit dengan branch low-rank 16-bit (rank 32, group size 16 untuk NVFP4). Sisanya dikuantisasi ke 4-bit. Branch low-rank di-fuse ke dalam kernel 4-bit untuk menghindari overhead memori. Nunchaku Lite menggunakan dua jenis lapisan: SVDQW4A4Linear untuk attention dan MLP, serta AWQW4A16Linear untuk lapisan sensitif seperti modulasi. Integrasi dilakukan dengan menambahkan quantization_config di config.json transformer, sehingga struktur modul tetap sama dan kompatibel dengan scheduler, LoRA, dan torch.compile. Pengguna cukup menginstal diffusers, transformers, dan kernels dari Hugging Face; kernel CUDA diunduh otomatis dari Hub tanpa kompilasi lokal.

Kenapa Ini Penting

Bagi praktisi AI Indonesia yang sering terkendala VRAM terbatas, Nunchaku Lite memungkinkan menjalankan diffusion transformer besar (misal FLUX, ERNIE-Image) di GPU kelas menengah (RTX 3060, 4060, 5060) dengan biaya lebih rendah dan kecepatan lebih tinggi. Ini membuka akses lebih luas ke model generatif canggih untuk riset, desain, dan produksi konten.

Untuk Siapa

Pengembang AI, peneliti, dan kreator konten yang menggunakan Diffusers untuk text-to-image dan ingin mengoptimalkan memori serta kecepatan inferensi di GPU NVIDIA konsumen (RTX 30/40/50 series).

Contoh Use Case

• Menjalankan model ERNIE-Image-Turbo 1024x1024 di RTX 3060 dengan VRAM hanya 12GB.
• Mempercepat pipeline FLUX.2 Klein 4B untuk produksi gambar massal di RTX 4090 dengan speedup 1.8x.
• Mengkuantisasi model diffusion kustom sendiri menggunakan diffuse-compressor dan publikasikan di Hugging Face.
• Menggabungkan Nunchaku Lite dengan LoRA fine-tuning untuk personalisasi model tanpa peningkatan VRAM.
• Menerapkan sequential CPU offload untuk model besar di GPU dengan VRAM sangat terbatas (misal 8GB).

Cara Mulai

1. Install paket: pip install -U diffusers transformers accelerate kernels bitsandbytes
2. Pilih model yang sudah dikuantisasi, misal: pipe = ErnieImagePipeline.from_pretrained('lite-infer/ERNIE-Image-Turbo-nunchaku-lite-nvfp4_r32-bnb4-text-encoder', torch_dtype=torch.bfloat16).to('cuda')
3. Generate gambar seperti biasa: image = pipe(prompt=..., height=1024, width=1024, num_inference_steps=8).images[0]
4. Untuk speedup lebih, compile transformer: pipe.transformer.compile(fullgraph=True)
5. Untuk model kustom, instal diffuse-compressor dan ikuti panduan resmi untuk kalibrasi, kuantisasi, dan publikasi.

Peran: Anda adalah pakar optimasi model AI generatif.
Konteks: Saya ingin mengkuantisasi model FLUX.2 Klein 4B menggunakan Nunchaku Lite di Diffusers. Saya memiliki GPU RTX 4090.
Tugas: Berikan langkah-langkah konkret untuk mengkuantisasi model ini, termasuk persiapan dataset kalibrasi, pemilihan presisi (NVFP4 atau INT4), dan cara mengintegrasikan hasil kuantisasi ke pipeline Diffusers. Sertakan perintah kode Python untuk setiap langkah.
Format Output: Berikan jawaban dalam poin bernomor dengan blok kode terpisah untuk setiap perintah. Gunakan Bahasa Indonesia.
Batasan: Panjang jawaban maksimal 500 kata. Jangan gunakan emoji atau asterisk.

Insight Bisnis

Dengan Nunchaku Lite, studio kreatif dan platform SaaS dapat menawarkan generasi gambar resolusi tinggi dengan biaya GPU lebih rendah. Misalnya, layanan API image generation yang sebelumnya butuh A100 kini bisa dijalankan di RTX 4090, mengurangi biaya per inferensi hingga 50%.

FAQ