Hugging Face di Microsoft Foundry: Model Open-Source Siap Enterprise

Microsoft mengumumkan integrasi model Hugging Face ke dalam platform enterprise-nya, Microsoft Foundry, melalui fitur 'Foundry Managed Compute'. Katalog model Hugging Face yang diperbarui mingguan kini dapat di-deploy sekali klik ke Managed Compute, dengan bobot model sudah disiapkan di Azure. Runtimes dibangun dan dipindai oleh Microsoft, memastikan keamanan, tata kelola, observabilitas, dan penagihan yang konsisten dengan model lain di Foundry. Ini menyederhanakan operasionalisasi model open-source yang sebelumnya kompleks.

Penjelasan Mendalam

Microsoft Foundry adalah platform untuk membangun dan mengoperasikan aplikasi AI agentic, menyediakan akses ke berbagai model dari berbagai penyedia melalui satu endpoint dan SDK. Fitur 'Foundry Managed Compute' adalah opsi deployment PaaS berbasis GPU untuk model open-source dan kustom. Pengguna mendeskripsikan instance model berdasarkan parameter seperti jumlah parameter dan panjang konteks, sementara Foundry mengelola topologi GPU. Microsoft menangani pembaruan container, runtime, dan patch keamanan secara otomatis pada runtime yang didukung seperti vLLM, SGLang, TensorRT-LLM, NIM, TEI, dan llama.cpp, tanpa perlu redeploy model. Integrasi model Hugging Face ke dalam 'Foundry Model Catalog' mencakup model yang diperbarui mingguan, mendukung berbagai modalitas (teks, visi, audio, multimodal), dan hanya menggunakan format SafeTensors dengan pemindaian keamanan ketat untuk menghindari eksekusi kode jarak jauh yang tidak tepercaya. Proses kurasi melibatkan peninjauan lisensi, pemindaian keamanan, pembangunan dan pemindaian runtime, penyimpanan bobot di Azure, serta pengujian performa sebelum dipublikasikan.

Kenapa Ini Penting

Integrasi ini secara drastis menurunkan hambatan operasional untuk menggunakan model AI open-source terkemuka di lingkungan enterprise. Praktisi AI di Indonesia kini dapat memanfaatkan kekuatan model Hugging Face dengan jaminan keamanan, skalabilitas, dan kemudahan manajemen yang disediakan oleh Microsoft Foundry.

Untuk Siapa

Pengembang, ilmuwan data, dan tim MLOps yang ingin mengoperasionalkan model open-source Hugging Face dalam skala besar di lingkungan enterprise yang aman dan terkelola.

Contoh Use Case

• Membangun agen AI kustom yang menggunakan LLM open-source dari Hugging Face untuk analisis data internal.
• Menyebarkan model deteksi objek atau segmentasi gambar dari Hugging Face untuk aplikasi visi komputer enterprise.
• Mengintegrasikan model text-to-speech atau speech-to-text open-source ke dalam platform komunikasi perusahaan.
• Melakukan fine-tuning model Hugging Face untuk tugas spesifik domain dan men-deploy-nya melalui Foundry Managed Compute.
• Memanfaatkan model embedding open-source untuk pencarian semantik dalam basis pengetahuan perusahaan.

Cara Mulai

1. Jelajahi 'Foundry Model Catalog' di Microsoft Foundry untuk menemukan model Hugging Face yang tersedia.
2. Pilih model yang sesuai dengan kebutuhan Anda dan periksa detail lisensi serta persyaratan runtime.
3. Konfigurasikan 'Foundry Managed Compute' dengan menentukan spesifikasi GPU dan parameter deployment yang diinginkan.
4. Gunakan fitur 'one-click deploy' untuk men-deploy model Hugging Face pilihan Anda ke Managed Compute.
5. Integrasikan endpoint model yang telah di-deploy ke dalam aplikasi agentic atau alur kerja enterprise Anda.

Peran: Analis AI
Konteks: Saya sedang mengevaluasi kemampuan Microsoft Foundry dalam mengintegrasikan model Hugging Face untuk aplikasi enterprise, khususnya fitur 'Foundry Managed Compute' dan 'Foundry Model Catalog'.
Tugas: Jelaskan secara rinci bagaimana proses kurasi dan deployment model Hugging Face bekerja di dalam Microsoft Foundry, termasuk runtime yang didukung dan manfaat keamanan yang ditawarkan.
Format Output: Jawaban dalam format poin-poin yang terstruktur dan mudah dipahami.
Batasan: Gunakan Bahasa Indonesia, fokus pada detail teknis dan manfaat enterprise.

Insight Bisnis

Integrasi ini membuka peluang besar bagi perusahaan untuk mengadopsi inovasi AI open-source dengan cepat dan aman, mengurangi biaya operasional serta mempercepat waktu ke pasar untuk aplikasi AI baru.

FAQ