Bayangkan sebuah sistem AI yang tidak hanya menjawab pertanyaan, tetapi mampu menjalankan tugas secara mandiri selama berjam-jam: memanggil berbagai tools, memeriksa hasil, mendelegasikan pekerjaan ke sub-agent, hingga mengambil keputusan berdasarkan hasil sebelumnya. Tantangannya bukan lagi sekadar membuat AI “lebih pintar”, tetapi bagaimana membuatnya cepat, akurat, dan efisien ketika bekerja dalam volume tinggi. Di sinilah perkembangan Agentic AI mulai memasuki fase yang lebih matang.
NVIDIA memperkenalkan Nemotron 3.5 Lightning, model open Mixture-of-Experts (MoE) berukuran 30 miliar parameter dengan hanya 3 miliar parameter aktif. Model ini dirancang khusus untuk execution layer pada autonomous agents dan workflow AI yang berjalan terus-menerus, dengan fokus pada latency rendah dan throughput tinggi.
Apa Itu Agentic AI dan Mengapa Efisiensi Menjadi Penting?
Agentic AI adalah pendekatan AI yang memungkinkan sistem menjalankan rangkaian tugas secara lebih mandiri, bukan hanya menghasilkan respons berdasarkan satu prompt. Dalam sebuah workflow, AI agent dapat melakukan reasoning, menggunakan tools, memvalidasi hasil, serta berinteraksi dengan sistem atau agent lain.
Masalahnya, workload seperti ini menghasilkan sangat banyak panggilan model. Menurut NVIDIA, long-running agents menghabiskan sebagian besar waktunya pada aktivitas seperti:
- Melakukan tool calls.
- Memvalidasi output.
- Mendelegasikan tugas kepada sub-agent.
- Menjalankan pekerjaan rutin berulang.
- Memproses token dalam jumlah besar.
Menggunakan model reasoning berukuran besar untuk setiap langkah dapat meningkatkan latency dan biaya komputasi. Karena itu, arsitektur Agentic AI membutuhkan pembagian pekerjaan antara model besar untuk reasoning kompleks dan model yang lebih ringan untuk eksekusi berulang.
NVIDIA Nemotron 3.5 Lightning: Model Kecil untuk Eksekusi Berintensitas Tinggi
Nemotron 3.5 Lightning menggunakan arsitektur 30B MoE dengan 3B active parameters. Pendekatan ini memungkinkan model memiliki kapasitas seperti model yang lebih besar, tetapi hanya menjalankan sebagian parameter untuk setiap token.
Secara sederhana, arsitektur tersebut memungkinkan Agentic AI mendapatkan kombinasi antara kapasitas model dan efisiensi komputasi. Model dapat digunakan untuk pekerjaan seperti menjalankan perintah, memproses hasil tool, formatting output, hingga berbagai tugas rutin yang jumlah panggilannya sangat tinggi.
NVIDIA juga menyebut Nemotron 3.5 Lightning sebagai model terkecil dalam keluarga Nemotron 3. Fokusnya bukan menggantikan frontier reasoning models, tetapi melengkapinya.
Dalam sistem berbasis banyak model, pembagian tugasnya dapat terlihat seperti berikut:
- Model reasoning besar menangani planning dan problem solving kompleks.
- Model execution yang lebih kecil menangani pekerjaan rutin dan berulang.
- Model routing menentukan model paling sesuai untuk setiap permintaan.
Pendekatan tersebut menjadi salah satu fondasi penting untuk membangun sistem Agentic AI yang scalable.
Kecepatan Tanpa Mengorbankan Akurasi
Salah satu aspek menarik Nemotron 3.5 Lightning adalah fokusnya terhadap speed-accuracy trade-off. NVIDIA menyatakan model ini dapat mencapai hingga 4x output speed dibandingkan model berukuran serupa, sekaligus berada pada accuracy-speed Pareto frontier untuk small open models.
Pada PinchBench, Nemotron 3.5 Lightning mencapai akurasi 86% dan menyelesaikan 10.000 tugas sekitar 30% lebih cepat dibandingkan Qwen3.6 35B pada tingkat akurasi yang serupa.
Angka tersebut penting karena performa Agentic AI tidak hanya ditentukan oleh berapa cepat sebuah model menghasilkan token. Yang lebih relevan adalah seberapa cepat agent menyelesaikan pekerjaan secara keseluruhan.
Dengan kata lain, token per second bukan satu-satunya metrik. Task completion time juga menjadi indikator penting.
Bagaimana Nemotron 3.5 Lightning Mencapai Performa Tinggi?
Ada dua teknologi utama yang digunakan untuk meningkatkan efisiensi model ini.
1. Speculative Decoding
Nemotron 3.5 Lightning menggunakan pendekatan speculative decoding dan multi-token prediction (MTP). Model dapat menghasilkan prediksi beberapa token sekaligus, kemudian prediksi tersebut diverifikasi secara efisien.
NVIDIA juga menyediakan draft models seperti DSpark dan DFlash untuk berbagai skenario inference. DSpark direkomendasikan untuk workload DGX Spark dan data center dengan concurrency rendah, sementara MTP lebih sesuai untuk concurrency menengah hingga tinggi.
Bagi Agentic AI, optimasi seperti ini sangat relevan karena agent dapat melakukan ribuan atau bahkan lebih banyak panggilan model dalam workflow yang panjang.
2. Quantization NVFP4
Nemotron 3.5 Lightning tersedia dalam checkpoint BF16 dan NVFP4. NVIDIA menyebut checkpoint NVFP4 menggunakan specialized kernels yang juga digunakan pada Nemotron 3 Ultra dan mendukung GPU NVIDIA Blackwell, Hopper, serta Ampere.
Quantization membantu mengurangi kebutuhan komputasi dan memori sehingga model menjadi lebih praktis untuk deployment, termasuk pada sistem lokal.
Agentic AI Tidak Harus Selalu Berjalan di Data Center
Salah satu perkembangan menarik dari Nemotron 3.5 Lightning adalah fleksibilitas deployment. NVIDIA menyebut model ini dapat digunakan pada sistem lokal seperti NVIDIA Jetson, GeForce RTX 5090, dan DGX Spark, selain deployment di data center.
Ini membuka peluang baru untuk Agentic AI on-device atau local AI. Developer dapat membangun agent yang melakukan berbagai pekerjaan secara lokal tanpa selalu bergantung pada cloud inference.
Model ini juga dapat dijalankan melalui berbagai tools seperti LM Studio, llama.cpp, Ollama, dan Unsloth.
Bagi developer, fleksibilitas tersebut berarti eksperimen dan deployment dapat dilakukan pada berbagai skala hardware, mulai dari workstation hingga infrastruktur data center.
NVIDIA NeMo Switchyard dan Konsep System of Models
Salah satu bagian paling penting dari pendekatan NVIDIA adalah NeMo Switchyard, library yang dirancang untuk melakukan intelligent model routing.
Konsepnya sederhana: tidak semua pekerjaan membutuhkan model paling besar.
Dalam sistem Agentic AI, sebuah request dapat diarahkan berdasarkan tingkat kompleksitasnya. Planning dan reasoning kompleks dapat diberikan kepada frontier model, sedangkan pekerjaan execution yang sederhana diarahkan ke Nemotron 3.5 Lightning.
Pendekatan system of models ini memungkinkan penggunaan token dan compute menjadi lebih efisien. NVIDIA menggambarkannya sebagai pembagian antara model yang menangani “planning” dan model yang menangani “execution”.
Apa Dampaknya bagi Pengembangan Agentic AI?
Kemunculan model seperti Nemotron 3.5 Lightning menunjukkan bahwa masa depan Agentic AI kemungkinan tidak hanya bergantung pada model terbesar.
Ada beberapa tren penting yang dapat diperhatikan:
- Model specialization menjadi semakin penting.
- Inference efficiency sama pentingnya dengan kemampuan reasoning.
- Model routing dapat mengurangi penggunaan model besar secara berlebihan.
- Local AI membuka peluang deployment yang lebih fleksibel.
- Open models memberikan ruang lebih besar untuk customization dan fine-tuning.
Nemotron 3.5 Lightning juga dirilis secara terbuka dengan weights, data, dan recipes sehingga developer dapat melakukan fine-tuning menggunakan LoRA atau full SFT, serta reinforcement learning dan environment-based evaluations melalui ekosistem NeMo.
Kesimpulan
Perkembangan Agentic AI sedang bergeser dari sekadar mengejar model yang semakin besar menuju sistem AI yang mampu menggunakan setiap unit komputasi secara lebih cerdas. Dalam workflow yang berjalan terus-menerus, kecepatan eksekusi, latency, biaya inference, dan kemampuan melakukan tugas secara berulang menjadi sama pentingnya dengan kemampuan reasoning.
NVIDIA Nemotron 3.5 Lightning menawarkan pendekatan tersebut melalui kombinasi arsitektur MoE, speculative decoding, quantization, harness-optimized training, serta model routing melalui NeMo Switchyard.
Yang paling menarik bukan hanya kemampuan modelnya, tetapi bagaimana model ini dapat menjadi bagian dari system of models. Model besar dapat fokus pada pekerjaan yang membutuhkan reasoning mendalam, sementara model yang lebih ringan menangani volume eksekusi yang tinggi.
Dengan pendekatan tersebut, Agentic AI berpotensi menjadi lebih cepat, efisien, customizable, dan semakin mudah diterapkan mulai dari perangkat lokal hingga data center. Masa depan AI agent mungkin bukan tentang satu model yang melakukan semuanya, melainkan ekosistem model yang bekerja bersama dan memilih model terbaik untuk setiap tugas.
Leave a Reply
You must be logged in to post a comment.