Nvidia, robot eğitimi için Apple Vision Pro'dan yararlanıyor.

Nvidia'nın yeni bir kontrol hizmeti, geliştiricilerin Apple Vision Pro kullanarak kontrol edilen ve izlenen insansı robotlarla ilgili projeler üzerinde çalışmasına olanak sağlayabilir.
İnsansı robotlar geliştirmenin birçok zorluğu vardır ve bunlardan biri de son derece teknik cihazları kontrol etmenin doğasıdır. Bu alanda yardımcı olmak için Nvidia, robotik simülasyon için bazıları kontrolde yardımcı olmak üzere bir dizi aracı kullanıma sundu.

Nvidia tarafından büyük robot üreticilerine ve yazılım geliştiricilerine sağlanan model ve platform paketi, yeni nesil insansı robotların eğitilmesine yardımcı olmayı amaçlıyor.

Araç koleksiyonu, Nvidia'nın NIM mikro hizmetleri ve çerçeveleri olarak adlandırdığı, simülasyon ve öğrenme amaçlı araçları içeriyor. Ayrıca çok aşamalı robotik iş yüklerinin yanı sıra yapay zeka ve simülasyon destekli teleoperasyon iş akışlarıyla başa çıkmak için Nvidia OSMO orkestrasyon hizmeti de var.

Bu iş akışlarının bir parçası olarak, Apple Vision Pro gibi kulaklıklar ve uzamsal bilgi işlem cihazları yalnızca verileri görmek için değil, aynı zamanda donanımı kontrol etmek için de kullanılabilir.

Nvidia CEO'su ve kurucusu Jensen Huang, "Yapay zekanın bir sonraki dalgası robotik ve en heyecan verici gelişmelerden biri de insansı robotlar" dedi. "NVIDIA robotik yığınının tamamını geliştirerek dünya çapındaki insansı geliştiricilerin ve şirketlerin ihtiyaçlarına en uygun platformları, hızlandırma kütüphanelerini ve yapay zeka modellerini kullanmalarına olanak sağlıyoruz."

NIM mikro hizmetleri, dağıtım sürelerini kısaltmak amacıyla Nvidia'nın çıkarım yazılımını kullanan önceden oluşturulmuş kapsayıcılardır. Bu mikro hizmetlerden ikisi, geliştiricilere referans bir uygulama olan Nvidia Isaac SIM içinde üretken fiziksel yapay zeka için simülasyon iş akışlarında yardımcı olmak üzere tasarlanmıştır.

Bunlardan biri olan MimicGen NIM mikro hizmeti, temel olarak kullanıcıların Apple Vision Pro veya başka bir uzamsal bilgi işlem cihazı kullanarak donanımı kontrol etmelerine yardımcı olmak için kullanılıyor. "Kaydedilmiş teleoperasyon verilerine" dayanarak robot için sentetik hareket verileri üretiyor, yani Apple Vision Pro'dan gelen hareketleri robotun yapacağı hareketlere çeviriyor.

Videolar ve görüntüler, bunun kulaklığın hareketlerine göre bir kamerayı hareket ettirmekten daha fazlası olduğunu gösteriyor. Apple Vision Pro'nun sensörlerine dayalı olarak el hareketleri ve mimiklerin de kaydedildiği ve kullanıldığı gösteriliyor.

Aslında, kullanıcılar Apple Vision Pro'yu kullanarak robotun hareketlerini izleyebilir ve elleri ve kolları doğrudan kontrol edebilir.

Bu tür insansı robotlar hareketleri tam olarak taklit etmeye çalışabilirken, Nvidias gibi sistemler bunun yerine kullanıcının ne yapmak istediğini çıkarabilir. Kullanıcılar robotun neyi tuttuğuna dair dokunsal geri bildirime sahip olmadığından, el hareketlerini doğrudan taklit etmek çok tehlikeli olabilir.

Siggraph'ta sergilenen bir başka teleoperasyon iş akışı da geliştiricilerin büyük miktarlarda hareket ve algı verisi oluşturmasına olanak sağladı. Bunların tümü, bir insan tarafından uzaktan yakalanan az sayıda gösteriden oluşturulmuştur.

Bu gösteriler için, bir kişinin ellerinin hareketlerini yakalamak için bir Apple Vision Pro kullanıldı. Bunlar daha sonra MimicGen NIM mikro hizmeti ve sentetik veri kümeleri oluşturan Nvidia Isaac Sim kullanılarak kayıtları simüle etmek için kullanıldı.

Geliştiriciler daha sonra gerçek ve sentetik verilerin bir kombinasyonuyla bir Project Groot insansı modelini eğitebildiler. Bu sürecin, ilk etapta veri oluşturmak için harcanan maliyet ve zamanı azaltmaya yardımcı olacağı düşünülüyor.

Robotik platform üreticisi Fourier'in CEO'su Alex Gu'ya göre "İnsansı robotlar geliştirmek son derece karmaşıktır ve gerçek dünyadan zahmetli bir şekilde elde edilen inanılmaz miktarda gerçek veri gerektirir." "NVIDIA'nın yeni simülasyon ve üretken yapay zeka geliştirici araçları, model geliştirme iş akışlarımızın önyüklenmesine ve hızlandırılmasına yardımcı olacak."

Mikro hizmetlerin yanı sıra modellere erişim, OSMO yönetilen robotik hizmeti ve diğer çerçevelerin tümü Nvidia İnsansı Robot Geliştirici Programı kapsamında sunuluyor. Erişim, şirket tarafından yalnızca insansı yazılım, donanım veya robot üreticilerine sağlanmaktadır.

‍