Bu hafta Apple’ı geride bırakarak en değerli şirket konumuna yükselen Nvidia, robot öğrenimi ve insansı (humanoid) robot gelişimini ilerletecek yeni yapay zeka ve simülasyon araçlarını tanıttı. Şirket, Almanya’nın Münih kentinde düzenlenen Robot Öğrenme Konferansı’nda (CoRL) Nvidia Isaac Lab robot öğrenme framework’ünü genel kullanıma sunarken ve Project GR00T için altı yeni insansı robot öğrenme iş akışını duyurdu. Project GR00T’un insansı robot geliştirmeyi hızlandırmaya yönelik bir girişim olduğunu belirtelim.
Nvidia, CoRL ile eş zamanlı olarak robot öğrenimi ile ilgili 23 makale yayınlamanın yanı sıra dokuz atölye çalışması sundu. Geliştiriciler için eğitim ve iş akışı kılavuzları yayınlayan şirket, Hugging Face ile yeni iş birliğini de duyurdu. İkili, LeRobot, Nvidia Isaac Lab ve Nvidia Jetson ile açık kaynaklı robotik araştırmalarını hızlandırmak için iş birliği yapıyor.
Nvidia Isaac Lab
Nvidia Omniverse üzerine inşa edilmiş açık kaynaklı bir robot öğrenme framework’ü Nvidia Isaac Lab, geliştiriciler tarafından robot politikalarını geniş ölçekte eğitmek için kullanılabilir. Nvidia Isaac Lab’i kullananlar arasında 1X, Agility Robotics, The AI Institute, Berkeley Humanoid, Boston Dynamics, Field AI, Fourier, Galbot, Mentee Robotics, Skild AI, Swiss-Mile, Unitree Robotics ve Xpeng Robotics yer alıyor.
Giderek karmaşıklaşan hareketler ve etkileşimler, Nvidia Isaac Lab kullanılarak ele alınabiliyor. Geliştiriciler, insansı robotlardan dört ayaklı robotlara kadar her türlü düzenleme için Nvidia Isaac Lab’i kullanabilir. Nvidia Isaac Lab 1.2 GitHub’da açık kaynak olarak kullanıma sunuluyor.
Isaac Lab’i kullanmayı öğrenen araştırmacılar ve geliştiriciler için, başlangıç için yeni geliştirici kılavuzları geliştiricilerin ilgisine sunulmakta. Bunlara Isaac Gym’den Isaac Lab’e geçiş kılavuzu da dahil.
İnsansı robotları destekleyen Project GR00T
GR00T Projesi, hızlandırılmış kütüphaneler, temel modeller ve veri hatları geliştirmeye odaklanıyor. Böylece Nvidia, küresel insansı robot geliştirici ekosistemini hızlandırmaya destek oluyor.
Gelişmiş insansı robotların, insan-robot ve robot-çevre etkileşimleri kurmak için çeşitli becerileri etkili bir şekilde algılaması, hareket etmesi ve öğrenmesi gerekmekte. Altı yeni GR00T Project iş akışı, insansı robot geliştiricilerine en zorlu insansı robot yeteneklerini gerçekleştirmeleri için planlar sunuyor. Söz konusu iş akışları arasında, yapay zeka destekli, OpenUSD tabanlı 3 Boyutlu ortamlar oluşturmak için GR00T-Gen de yer almakta.
Nvidia’da somutlaştırılmış yapay zeka kıdemli araştırma müdürü Jim Fan Nvidia’nın GR00T odağındaki çalışmalarını aktarırken, insansı robotların, somutlaştırılmış yapay zekanın bir sonraki dalgası olduğuna dikkat çekti. Yeni Nvidia Project GR00T iş akışları, yakında geliştiricilerin ilgisine sunulacak.
Nvidia Cosmos tokenizer ve Nvidia NeMo Curator
Ayrıca video veri küratörlüğü ve işleme için yeni dünya modeli geliştirme araçları da tanıtıldı. robot geliştiricileri, nesnelerin ve ortamların bir robotun eylemlerine nasıl tepki vereceğini tahmin edebilen dünya modelleri oluşturuyor.
Dünyanın yapay zeka temsilleri olan bu dünya modellerini oluşturmak, binlerce saatlik gerçek dünya, seçilmiş görüntü veya video verisi gerektiriyor. Hesaplama ve veri yoğunluğunun üst düzeyde olduğu bir çalışma ortamından bahsetmek mümkün.
Bu noktada yeni tanıtılan Nvidia Cosmos tokenizer ve Nvidia NeMo Curator araçları devreye giriyor. Görüntüleri ve videoları olağanüstü yüksek sıkıştırma oranlarına sahip yüksek kaliteli tokenlara ayıran Cosmos tokenizer, robotik geliştiricilere üstün görsel tokenizasyon sağlıyor. NeMo Curator ise robot geliştiricilerinin büyük ölçekli metin, görüntü ve video verilerini işleyerek dünya modeli doğruluğunu geliştirmelerine destek oluyor. Açık kaynaklı Cosmos tokenizer, mevcut tokenizerlardan 12 kata kadar daha hızlı çalışıyor. NeMo Curator ise optimize edilmemiş iş hatlarından yedi kata kadar daha hızlı video işleme kürasyonu sağlıyor. Nvidia Cosmos tokenizer’ı kullanan şirletler arasında 1X Technologies, Xpeng Robotics ve Hillbot yer almakta. Nvidia Cosmos tokenizer’a GitHub ve Hugging Face üzerinden erişebilirsiniz. Video işleme için NeMo Curator ise ay sonunda kullanıma sunulacak.
