NVIDIA Nemotron: Data Terbuka dan Sintetis untuk AI Agen Cerdas

NVIDIA merilis produk data terbuka Nemotron yang berfokus pada pengembangan AI agen, mengatasi keterbatasan benchmark tradisional. Dataset ini mencakup lebih dari 10 triliun token pra-pelatihan dan jutaan sampel pasca-pelatihan, termasuk data sintetis yang dihasilkan menggunakan NeMo Data Designer. Alat seperti Nemotron Post-Training v3 Prompt Atlas membantu eksplorasi data, sementara Nemotron-Personas menyediakan persona sintetis yang digerakkan secara lokal untuk pengujian agen yang lebih realistis. Inisiatif ini bertujuan untuk meningkatkan inspektibilitas, reprodusibilitas, dan skalabilitas agen AI.

Penjelasan Mendalam

Pengembangan AI agen yang tangguh memerlukan data yang melampaui benchmark statis, mencakup skenario dunia nyata seperti kegagalan API, alur kerja tak terduga, penalaran multi-langkah, dan interaksi fisik. NVIDIA Nemotron mengatasi ini dengan menyediakan produk data terbuka yang luas. Nemotron-CC menggunakan data sintetis untuk meningkatkan Common Crawl, sementara Nemotron-CC-MATH memanfaatkan pertanyaan matematika sintetis untuk penalaran yang lebih baik. Nemotron Pretraining mengumpulkan data umum, kode, matematika, dan sintetis dari triliunan token. Nemotron Post-Training v3 Prompt Atlas adalah visualisasi interaktif dari jutaan sampel pasca-pelatihan, memungkinkan pengembang untuk menjelajahi dan memahami data yang membentuk perilaku agen, seperti kemampuan memanggil alat atau melakukan penalaran. Nemotron-Personas, yang dibangun dengan NeMo Data Designer, menghasilkan persona sintetis yang mencerminkan statistik demografis dan geografis regional untuk menguji kesesuaian agen dengan populasi pengguna yang beragam.

Kenapa Ini Penting

Praktisi AI di Indonesia dapat memanfaatkan dataset Nemotron untuk membangun agen yang lebih cerdas dan andal, mengatasi tantangan dunia nyata yang seringkali tidak tercakup oleh benchmark standar. Penggunaan data sintetis juga memungkinkan pengembangan tanpa mengorbankan rahasia dagang atau data sensitif.

Untuk Siapa

Pengembang AI, peneliti, dan insinyur machine learning yang berfokus pada pembangunan agen AI, sistem otonom, atau aplikasi yang memerlukan pemahaman dan interaksi kompleks dengan lingkungan.

Contoh Use Case

• Melatih agen AI untuk menangani kesalahan API dan alur kerja yang tidak terduga.
• Meningkatkan kemampuan penalaran multi-langkah agen menggunakan data matematika sintetis.
• Mengembangkan agen yang dapat berinteraksi dengan berbagai alat dan sistem eksternal.
• Menguji kesesuaian dan keadilan agen AI terhadap berbagai demografi pengguna menggunakan Nemotron-Personas.
• Menganalisis dan memahami perilaku agen AI melalui visualisasi data interaktif di Prompt Atlas.

Cara Mulai

1. Jelajahi koleksi dataset Nemotron di Hugging Face.
2. Unduh dan analisis sampel data dari Nemotron Post-Training v3 Prompt Atlas untuk memahami struktur dan kontennya.
3. Gunakan Nemotron-Personas untuk membuat persona sintetis yang relevan dengan target pengguna Anda.
4. Eksperimen dengan fine-tuning model yang ada menggunakan data Nemotron untuk meningkatkan kemampuan agen.
5. Pelajari lebih lanjut tentang teknik pembuatan data sintetis menggunakan NeMo Data Designer.

Peran: Analis Data AI
Konteks: Saya sedang mengevaluasi dataset Nemotron Post-Training v3 dari NVIDIA untuk melatih agen AI yang mampu menggunakan alat eksternal. Saya ingin memahami jenis alat yang paling sering dipanggil dan bagaimana kegagalan alat ditangani dalam data.
Tugas: Analisis subset data Nemotron Post-Training v3 yang berfokus pada penggunaan alat. Identifikasi 5 alat yang paling sering dipanggil, berikan contoh prompt yang memicu pemanggilan alat tersebut, dan jelaskan pola penanganan kegagalan alat yang muncul.
Format Output: Daftar alat yang dipanggil, contoh prompt, dan deskripsi penanganan kegagalan dalam format poin-poin.
Batasan: Gunakan Bahasa Indonesia, fokus pada data pasca-pelatihan, dan berikan analisis yang spesifik berdasarkan data yang tersedia.

Insight Bisnis

Perusahaan dapat membangun keunggulan kompetitif dengan mengembangkan agen AI yang lebih canggih dan andal menggunakan dataset Nemotron, yang berpotensi mengarah pada otomatisasi proses bisnis yang lebih efektif dan pengalaman pengguna yang lebih baik.

FAQ