NVIDIA выпустила туториал по управлению роботами через XR-контроллеры

NVIDIA опубликовала туториал по IsaacTeleop — фреймворку, который преобразует данные XR-трекинга и контроллеров в команды для симулированных и реальных роботов. В туториале разобран механизм ретаргетинга: авторы строят входные данные на NumPy в Google Colab, создают синтетические данные рук и контроллеров, пишут собственный ретаргетер с настраиваемыми параметрами и управляют встроенными захватом и SE(3)-ретаргетерами.

Полный граф генерирует один вектор действия за шаг, применяет трансформацию в мировой системе координат и позволяет сохранять параметры маппинга контроллера на ловкую руку между перезапусками.