İçeriğe geç

Physical AI stack'i

Bir robot iç içe loop’lardan oluşan bir stack’tir: hızlı olanlar eklemi olması gereken yerde tutar, yavaş olanlar nerede olması gerektiğine karar verir.

Bir küpü alan ya da odada yürüyen bir robot aynı anda birkaç yazılım katmanı çalıştırır. Her katmanın kendi işi, kendi hızı ve kendi hata biçimleri vardır. Bu kitap onları aşağıdan yukarıya, ihtiyaç duyduğun sırayla öğretir.

KatmanİşiTipik araçlarKitapta
Physics ve simulationCisimlerin nasıl hareket edip çarpıştığını tahmin etmekMuJoCo, MJCF/URDF modelleriBölüm 1
GeometriNesnelerin nerede olduğunu ve orientation’ını tarif etmekRotation matrix, quaternion, transformBölüm 2
KinematicsEklem açılarını gripper pose’una ve geri çevirmekFK, Jacobian, IKBölüm 3
Low-level controlBir hedefi güvenli şekilde motor torklarına çevirmekPD/PID, servo, impedance control, limit’lerBölüm 4
State estimation ve perceptionNoisy sensor’leri ve pixel’leri bir state’e çevirmekFilter, Kalman filter, camera calibration, detectionBölüm 5
Planning ve optimal controlUygulanabilir hareket bulmak, control’ü optimize etmekRRT, trajectory optimization, LQR, MPCBölüm 6
Öğrenilmiş policy’lerVeriden ya da reward’dan observation → action eşlemesi öğrenmekBehavior cloning, ACT, diffusion policy, PPOBölüm 7–8
DeploymentSimde eğitilen davranışı donanımda çalıştırmakLatency, system identification, domain randomization, LeRobotBölüm 9
Görev katmanıDilden ve bağlamdan ne yapılacağına karar vermekVLA, robot tool’ları olan LLM agent’ları, world modelBölüm 10

Alt katmanlar üst katmanlardan hızlı çalışır. Kitapta kullanılan iki somut örnek:

  • Unitree’nin Go2 için açık training kodunda öğrenilmiş policy her 20 ms’de (50 Hz) yeni eklem hedefleri seçer, bir PD kuralı bunları her 5 ms’de torka çevirir (legged_robot_config.py içinde sim.dt = 0.005, decimation = 4). Ders 12 bu sayıları kullanır.
  • LeRobot, SO-101’de demonstration’ları saniyede yaklaşık 30 frame ile kaydeder (LeRobot belgeleri); servo’lar kendi position loop’larını motorun içinde kapatır (ders 12).

Gerçek robotlarda katmanlar genellikle mesajlaşan ayrı process’ler olarak çalışır; bunun için en yaygın middleware ROS 2’dir (node, topic, service, action). Bu kitap algoritmalar görünür kalsın diye her deneyi MuJoCo ile tek bir Python process’inde tutar; aynı algoritmalar ROS 2 node’larının içine koyacağın şeylerdir. Bölüm 7 ve 9’da kullanılan LeRobot, SO-101 ile doğrudan seri bus üzerinden konuşur.

RobotNeModel
SO-101LeRobot ile kullanılan düşük maliyetli 6 motorlu kol (5 eklem + gripper)Menagerie robotstudio_so101
Franka PandaRedundancy ya da torque control gereken yerlerde kullanılan 7-DoF araştırma koluMenagerie franka_emika_panda
Unitree Go2Control ve locomotion için kullanılan 12 eklemli dört ayaklı robotMenagerie unitree_go2

Üç model de MuJoCo Menagerie’den gelir ve experiments/common/menagerie.py tarafından indirilir.