Photoroom membagikan strategi data di balik model PRX, menekankan pentingnya dataset yang luas dan beragam untuk pre-training. Mereka menggunakan kombinasi dataset publik dan internal, serta merevisi caption menggunakan Visual-Language Model (VLM). Pendekatan ini bertujuan untuk cakupan visual yang maksimal, bukan kesempurnaan per gambar, karena fine-tuning akan menangani estetika. Data diproses menggunakan format Lance untuk kurasi dan eksplorasi, lalu diubah menjadi Mosaic Data Shards (MDS) untuk streaming dan pelatihan terdistribusi.
Poin Penting
- Dataset pre-training PRX mengutamakan cakupan dan keragaman visual, bukan kesempurnaan gambar individual.
- Captioning yang akurat dan panjang, menggunakan VLM, mengubah 'noise' visual menjadi atribut yang dapat dikontrol.
- Format data Lance digunakan untuk kurasi dan eksplorasi dataset besar, sementara MDS digunakan untuk streaming data pelatihan terdistribusi.
- Penyimpanan gambar dalam format JPEG berkualitas 92 terbukti efisien dan setara dengan PNG lossless untuk pelatihan teks-ke-gambar skala besar.
- Komputasi text latents on-the-fly dengan Qwen3-VL mengurangi ukuran data dan meningkatkan fleksibilitas pipeline pelatihan.
Penjelasan Mendalam
Strategi data PRX berfokus pada dua format utama: Lance untuk kurasi dan eksplorasi dataset berskala miliaran baris, serta Mosaic Data Shards (MDS) untuk streaming data selama pelatihan terdistribusi. Lance dipilih karena kemampuannya dalam indexing, query, dan pencarian vektor, yang efisien untuk dataset besar. MDS, dikombinasikan dengan Mosaic Composer, menawarkan fleksibilitas dan performa untuk pelatihan terdistribusi langsung dari object storage seperti S3 atau GCS. Artikel ini juga menyoroti optimasi pada encoding gambar, di mana penggunaan JPEG berkualitas 92 terbukti setara dengan PNG lossless untuk sebagian besar kasus pelatihan teks-ke-gambar skala besar, menghasilkan ukuran file yang lebih kecil tanpa penurunan kualitas visual yang terukur. Untuk teks latents, mereka beralih dari pre-komputasi ke komputasi on-the-fly menggunakan Qwen3-VL, yang mengurangi ukuran data dan memberikan fleksibilitas untuk mengganti text encoder di masa depan, dengan biaya throughput yang minimal (sekitar 3-4%).
Kenapa Ini Penting
Memahami strategi data ini krusial bagi praktisi AI di Indonesia untuk membangun model yang kuat. Wawasan tentang format data, captioning, dan optimasi penyimpanan dapat secara signifikan meningkatkan efisiensi dan kualitas pelatihan model generatif.
Untuk Siapa
Developer AI, peneliti machine learning, dan insinyur data yang terlibat dalam pembangunan dan pelatihan model AI generatif skala besar, terutama di bidang teks-ke-gambar.
Contoh Use Case
- Membangun dataset pre-training untuk model text-to-image baru.
- Mengoptimalkan pipeline data untuk pelatihan terdistribusi yang lebih efisien.
- Meningkatkan kualitas deskripsi gambar dalam dataset untuk pemahaman model yang lebih baik.
- Mengevaluasi trade-off antara format file gambar (JPEG vs PNG) untuk efisiensi penyimpanan dan performa pelatihan.
- Merancang strategi captioning yang efektif untuk model generatif.
Cara Mulai
- Pelajari dokumentasi format data Lance dan Mosaic Data Shards (MDS) untuk memahami cara kerja dan implementasinya.
- Eksplorasi penggunaan Visual-Language Model (VLM) seperti Qwen3-VL untuk menghasilkan atau memperbaiki caption dataset.
- Lakukan eksperimen dengan kompresi gambar JPEG pada kualitas tinggi (misalnya, 90-95) untuk dataset teks-ke-gambar Anda.
- Pertimbangkan arsitektur pipeline data yang memisahkan kurasi (Lance) dan streaming (MDS) untuk skalabilitas.
- Analisis kebutuhan dataset Anda: apakah prioritasnya adalah keragaman luas atau kualitas gambar yang sangat tinggi.
Peran: Analis Data AI
Konteks: Saya sedang membangun dataset untuk melatih model text-to-image. Saya baru saja membaca tentang strategi data PRX yang menggunakan format Lance untuk kurasi dan MDS untuk streaming, serta optimasi penyimpanan gambar ke JPEG kualitas 92.
Tugas: Berikan rekomendasi langkah-langkah konkret untuk mengimplementasikan strategi serupa dalam proyek saya, dengan fokus pada pemilihan format data, strategi captioning, dan optimasi penyimpanan gambar.
Format Output: Daftar langkah-langkah yang jelas dan berurutan.
Batasan: Gunakan Bahasa Indonesia, jawaban ringkas namun informatif, dan sertakan pertimbangan praktis untuk dataset skala menengah.
Insight Bisnis
Optimalisasi pipeline data dan penggunaan format yang efisien dapat secara drastis mengurangi biaya komputasi dan penyimpanan untuk pelatihan model AI skala besar, membuka peluang untuk layanan AI generatif yang lebih terjangkau dan cepat.
FAQ
Mengapa Photoroom memilih JPEG kualitas 92 daripada PNG?
JPEG kualitas 92 menawarkan keseimbangan yang baik antara ukuran file dan kualitas visual yang hampir tidak dapat dibedakan dari PNG lossless untuk sebagian besar gambar real-world yang sudah terkompresi, sehingga lebih efisien untuk dataset skala besar tanpa mengorbankan performa pelatihan.
Apa keuntungan menghitung text latents on-the-fly?
Menghitung text latents saat pelatihan berlangsung mengurangi ukuran dataset yang disimpan, memungkinkan penyimpanan di SSD lokal, dan memberikan fleksibilitas untuk mengganti text encoder tanpa perlu memproses ulang terabyte data latents.
Bagaimana cara mengatasi fragmentasi berlebih pada dataset Lance?
Hindari membuat terlalu banyak fragment kecil per baris data. Ikuti panduan Lance untuk menjaga jumlah fragment tetap rendah (misalnya, ratusan untuk miliaran baris) dan lakukan operasi 'compaction' secara berkala untuk menggabungkan fragment kecil menjadi lebih besar.
Sumber: Hugging Face Blog
Diringkas dan disusun otomatis oleh GrowWithAI AI Pulse. Pelajari lebih lanjut lewat kelas AI GrowWithAI atau buka AI Pulse.