Open World Models: Fondasi Baru untuk Mendorong Physical AI

Bagaimana jika AI tidak hanya mampu melihat dan memahami dunia, tetapi juga dapat memprediksi apa yang akan terjadi selanjutnya? Inilah salah satu tantangan terbesar dalam pengembangan Physical AI, teknologi yang memungkinkan robot, kendaraan otonom, dan sistem vision AI berinteraksi dengan lingkungan nyata.

Berbeda dengan AI generatif yang berfokus pada teks, gambar, atau kode, Physical AI harus memahami konsekuensi dari sebuah tindakan. Robot, misalnya, tidak cukup hanya mengenali sebuah objek. Robot juga harus memahami posisi objek tersebut, bagaimana objek dapat bergerak, serta apa yang kemungkinan terjadi setelah robot melakukan suatu tindakan.

Untuk menjawab tantangan tersebut, world models mulai memainkan peran penting. NVIDIA melihat open world models sebagai fondasi yang memungkinkan pengembangan Physical AI menjadi lebih fleksibel, terukur, dan mudah disesuaikan dengan kebutuhan industri.

Apa Itu World Models dalam AI?

World model adalah model yang dirancang untuk mempelajari bagaimana lingkungan fisik bekerja dan memprediksi kemungkinan perubahan yang terjadi di dalamnya.

Secara sederhana, jika model AI konvensional mempelajari pola dari data, world model mencoba memahami hubungan antara kondisi, tindakan, dan konsekuensi.

World models dapat membantu AI untuk:

• Memahami lingkungan melalui data multimodal.
• Memprediksi kondisi lingkungan berikutnya.
• Menghasilkan data sintetis untuk proses training.
• Mensimulasikan berbagai kemungkinan tindakan.
• Menguji perilaku sistem sebelum diterapkan di dunia nyata.

Kemampuan tersebut sangat penting untuk Physical AI karena pengumpulan data dunia nyata membutuhkan biaya, waktu, dan sumber daya yang besar. Skenario tertentu seperti kecelakaan, kondisi cuaca ekstrem, atau situasi langka juga sulit direplikasi secara aman.

Dengan simulasi, sistem AI dapat mempelajari berbagai kemungkinan tanpa harus selalu mengandalkan eksperimen langsung di dunia nyata.

Mengapa Open World Models Penting?

Salah satu masalah utama dalam pengembangan Physical AI adalah spesialisasi.

Sebuah model umum mungkin mampu memahami lingkungan secara luas, tetapi belum tentu memahami robot tertentu, konfigurasi sensor tertentu, atau kondisi operasional sebuah perusahaan.

Karena itu, developer membutuhkan kemampuan untuk menyesuaikan model menggunakan data dan perangkat keras mereka sendiri.

Open model memberikan fleksibilitas tersebut karena developer dapat mengakses bobot model, melakukan post-training, serta menyesuaikan sistem berdasarkan kebutuhan spesifik.

Menurut NVIDIA, Cosmos world foundation models tersedia dengan lisensi OpenMDW 1.1 dari Linux Foundation. Hal ini memungkinkan tim melakukan post-training menggunakan data dan hardware mereka sendiri.

Dengan pendekatan ini, AI tidak lagi harus dipandang sebagai model tunggal yang digunakan untuk semua kebutuhan. Sebaliknya, model dapat menjadi fondasi yang kemudian dikembangkan menjadi sistem khusus untuk robot, kendaraan, sensor, atau lingkungan tertentu.

NVIDIA Cosmos 3 dan Perkembangan Physical AI

Salah satu teknologi yang menjadi bagian penting dari pendekatan ini adalah NVIDIA Cosmos 3.

Cosmos 3 merupakan open physical AI foundation model yang menggabungkan beberapa kemampuan dalam satu keluarga model, termasuk vision reasoning, world generation, dan action prediction.

Pendekatan tersebut memungkinkan developer menggunakan Cosmos 3 untuk berbagai kebutuhan, seperti:

• Memahami sebuah scene melalui vision-language model.
• Menghasilkan data sintetis dalam skala besar.
• Memprediksi kondisi lingkungan di masa depan.
• Membuat simulasi berbasis kondisi fisik.
• Mengembangkan world action models untuk sistem robotik.

Cosmos 3 tersedia dalam beberapa varian. Cosmos 3 Super berukuran 64B ditujukan untuk world modeling dengan tingkat fidelitas tinggi, sementara Cosmos 3 Nano 16B dirancang untuk reasoning dan post-training yang lebih efisien. Cosmos 3 Edge 4B ditujukan untuk vision reasoning pada perangkat dan deployment robot policy.

Kemampuan menjalankan model pada berbagai platform, termasuk RTX GPU, NVIDIA DGX, dan NVIDIA Jetson, juga membuka peluang deployment dari data center hingga perangkat edge.

OpenUSD dan NVIDIA Omniverse Melengkapi World Models

Model saja tidak cukup. Physical AI juga membutuhkan lingkungan tempat model dapat dilatih, diuji, dan divalidasi.

Di sinilah NVIDIA Omniverse dan OpenUSD memiliki peran penting.

Omniverse menyediakan library untuk membangun lingkungan simulasi, sedangkan OpenUSD menjadi framework terbuka untuk menyusun, menggunakan kembali, dan bertukar data 3D kompleks.

Kombinasi keduanya dapat membantu developer membangun simulation-ready environments yang digunakan untuk training, testing, hingga validasi sistem sebelum deployment di dunia nyata.

Pendekatan ini juga berkaitan erat dengan digital twins dan synthetic data generation. Ketika konfigurasi sensor, objek, atau kondisi lingkungan berubah, developer tidak harus selalu membangun ulang seluruh pipeline dari awal.

Dari Robot hingga Kendaraan Otonom

Potensi open world models tidak terbatas pada robot humanoid.

Teknologi ini dapat digunakan dalam berbagai sektor yang membutuhkan pemahaman terhadap lingkungan fisik.

Beberapa contohnya meliputi:

1. Robotics
Robot dapat memanfaatkan world models untuk memahami lingkungan, memprediksi perubahan, serta mengembangkan kebijakan tindakan yang lebih adaptif.

2. Autonomous Vehicles
Kendaraan otonom membutuhkan kemampuan memprediksi kondisi jalan dan perilaku objek di sekitarnya. Simulasi dapat membantu menguji skenario yang sulit atau berbahaya dilakukan secara langsung.

3. Vision AI
Sistem vision AI dapat menggunakan pemahaman lingkungan untuk menangani berbagai kebutuhan industri dan smart spaces.

4. Manufacturing dan Logistics
Simulasi lingkungan pabrik dapat membantu menguji robot, sensor, serta workflow sebelum diterapkan pada fasilitas sebenarnya.

NVIDIA menyebut berbagai perusahaan dan organisasi telah mengembangkan aplikasi berbasis Cosmos untuk robotics, autonomous vehicles, serta vision AI.

Apakah World Models Akan Menjadi Masa Depan AI?

Perkembangan world models menunjukkan bahwa arah AI mulai bergerak melampaui sekadar kemampuan menghasilkan konten.

Tahap berikutnya adalah membangun sistem yang mampu memahami lingkungan, memprediksi masa depan, dan menentukan tindakan.

Inilah yang membuat Physical AI berbeda. Sistem tidak hanya perlu mengetahui “apa yang terlihat”, tetapi juga harus memperkirakan “apa yang akan terjadi” dan “apa yang sebaiknya dilakukan”.

Open world models berpotensi mempercepat proses tersebut karena developer memiliki fondasi yang dapat dikembangkan dan disesuaikan dengan kebutuhan mereka.

Pada akhirnya, keberhasilan Physical AI kemungkinan tidak hanya ditentukan oleh seberapa besar sebuah model, tetapi juga oleh seberapa baik model tersebut dapat beradaptasi dengan dunia nyata.