Від симуляції до реальності: Як симуляція ШІ замінює місяці інженерії робототехніки.
Навчання людиноподібних роботів у симуляції перед їх розгортанням на реальних заводах скорочує час інтеграції з місяців до днів. Ось як працює sim-to-real transfer і чому це важливо для виробників.
Motion1 Inc. ·
Старий спосіб: Спроби та помилки на заводському цеху
Скільки існують промислові роботи, стільки їхнє розгортання слідувало одному й тому ж болісному шаблону. Інженер встановлює робота, пише керуючий код, тестує його на заводському цеху, виявляє, що він не працює, як очікувалося, і повторює ітерації - іноді тижнями, іноді місяцями - доки робот не досягне прийнятної продуктивності. Потім весь цикл повторюється для наступного завдання, наступного варіанту продукту, наступної виробничої лінії.
Фізичний AI - це назва, яку тепер дають інтелекту, що має працювати в реальному світі. Він сприймає, вирішує, рухається і платить фізичну ціну за кожну помилку. Саме ця ціна є причиною того, чому навчання має відбуватися спочатку деінде.
Цей процес повільний, оскільки тестування в реальному світі за своєю суттю повільне. Кожен цикл ітерації займає від хвилин до годин на заводському цеху, де робот має фізично виконати завдання, інженер має спостерігати за результатом, діагностувати збій, модифікувати код і спробувати знову. Одне розгортання може вимагати від п'ятдесяти до ста таких циклів, перш ніж робот почне працювати надійно. При вартості від €50 000 до €150 000 за одне розгортання, з дорогими інженерними кадрами, зайнятими місяцями, економіка є каральною.
Передача від симуляції до реальності (sim-to-real transfer) - навчання робота у віртуальній симуляції реального середовища, а потім розгортання навченої політики на фізичному обладнанні - обіцяє скоротити цей термін від місяців до днів. Ідея не нова, але останні досягнення в галузі AI, комп'ютерного зору та фізичного моделювання перетворили її з академічної цікавості на практичний інструмент розгортання. Розуміння того, як це працює, де це перевершує інші методи, і де все ще має обмеження, є важливим для будь-якого виробника, який оцінює гуманоїдну автоматизацію.
Як працює передача від симуляції до реальності (Sim-to-Real Transfer)
Конвеєр sim-to-real починається із захоплення реального середовища. Фотографії та відео заводу - зроблені звичайними смартфонами або камерами з видом від першої особи, які носять працівники - обробляються в тривимірну симуляцію, що відтворює геометрію, освітлення та фізику фактичного об'єкта. Це не типовий склад або стилізований заводський цех; це цифровий двійник Вашого конкретного виробничого середовища, з Вашим обладнанням, Вашими продуктами та Вашим плануванням.
Щойно середовище симуляції створено, починається процес навчання гуманоїда. Завдання захоплюється від операторів, які вже його виконують - наприклад, "збирати продукти з кінця конвеєра, перевіряти на наявність видимих дефектів і пакувати в коробки по шість штук". Система AI розкладає це завдання на дискретні кроки маніпуляції та починає навчати гуманоїда виконувати кожен крок у симуляції.
Навчання відбувається зі швидкістю, яка була б неможливою в реальному світі. У симуляції гуманоїд може спробувати виконати завдання тисячі разів на годину, навчаючись на кожній невдачі та вдосконалюючи свій підхід. У реальності кожна спроба займає хвилини і ризикує пошкодити обладнання або продукти. Симуляція стискає місяці реального навчання в години обчислень, і робить це за частку вартості - час обчислень на GPU проти високооплачуваних інженерних кадрів на заводському цеху.
Навчена політика перевіряється на відповідність цільовим показникам точності, перш ніж вона торкнеться реального обладнання. Зазвичай поріг становить дев'яносто відсотків або вище рівня виконання завдання в симуляції. Лише коли ця ціль досягнута, політика передається фізичному роботу, де короткий період реального доналаштування усуває залишковий розрив між симуляцією та реальністю.
Усунення розриву між симуляцією та реальністю (Sim-to-Real Gap)
Історична критика робототехніки, заснованої на симуляції, полягала в розриві між симуляцією та реальністю (sim-to-real gap) - спостереженні, що політики, які бездоганно працюють у симуляції, часто зазнають невдачі в реальному світі. Графіка симуляції не ідеально відповідає реальності. Симульована фізика є наближенням. Реальні датчики вносять шум і затримку, які симуляція не фіксує. А реальний світ містить ефекти - потік повітря, вібрацію, коливання температури, нерівності поверхні - які симуляції традиційно ігнорують.
Сучасні підходи усувають ці прогалини за допомогою кількох технік, які значно дозріли за останні два роки.
Рандомізація домену є, мабуть, найважливішою. Під час навчання симуляція випадковим чином змінює текстури, умови освітлення, положення об'єктів, тертя поверхні та інші фізичні параметри. Замість того, щоб навчитися виконувати завдання в одному ідеальному середовищі, робот вчиться справлятися з варіаціями. Коли він стикається з реальним світом - який, з точки зору робота, є просто ще одним варіантом рандомізованих навчальних середовищ - він узагальнює, а не зазнає невдачі.
Прогресивна передача забезпечує додатковий рівень безпеки. Замість єдиного стрибка від симуляції до повного виробництва, політики передаються поетапно: високоточна симуляція, потім спрощене реальне тестове середовище, потім обмежені виробничі цикли, і нарешті повне розгортання. Кожен етап перевіряє продуктивність, перш ніж почнеться наступний, виявляючи проблеми на ранніх стадіях, коли їх легко виправити.
Безперервне навчання гарантує, що симуляція з часом покращується. Після розгортання робот збирає дані з реального світу, які надходять назад у двигун симуляції. Цифровий двійник стає точнішим з кожною зміною роботи, а майбутні політики, навчені в оновленій симуляції, вимагають меншого реального доналаштування. Це створює доброчесний цикл: більше розгортань призводять до кращих симуляцій, що призводить до швидших і надійніших майбутніх розгортань.
Де Sim-to-Real перевершує інші методи
Sim-to-real особливо ефективний для виробничих завдань, які мають певні характеристики. Повторювані завдання з постійною геометрією продукту - пакування, палетування, сортування, переміщення матеріалів - ідеальні, оскільки симуляція може моделювати відповідні об'єкти з високою точністю, а структура завдання є достатньо передбачуваною для швидкої конвергенції навчання з підкріпленням.
Завдання в контрольованих середовищах виконуються краще, ніж у неконтрольованих. Заводський цех з постійним освітленням, стабільними температурами та передбачуваним розташуванням обладнання набагато легше точно симулювати, ніж відкритий будівельний майданчик або сільськогосподарське поле.
Завдання з чіткими критеріями успіху - коробка запечатана, палета складена, продукт перевірений - навчаються швидше, ніж завдання з суб'єктивними або неоднозначними результатами, оскільки алгоритму навчання з підкріпленням потрібен чітко визначений сигнал винагороди для оптимізації.
Накопичувальна перевага
Кожне розгортання sim-to-real генерує дані, які покращують наступне. Моделі симуляції стають точнішими, оскільки вони включають зворотний зв'язок з реального світу. Алгоритми декомпозиції завдань навчаються на минулих успіхах і невдачах. Навчання політики сходиться швидше, оскільки бібліотека навчальних даних зростає.
Це створює маховик даних, який є однією з найважливіших стратегічних динамік у гуманоїдній робототехніці. Компанії та виробники, які найраніше починають розгортання sim-to-real, накопичують найбільше даних, створюють найточніші симуляції та досягають найшвидших термінів розгортання. Пізні учасники стикаються з накопичувальним недоліком: вони не тільки не мають даних, але й конкурують з організаціями, чия інфраструктура розгортання покращувалася з кожною ітерацією протягом місяців або років.
Для виробників практичний наслідок очевидний. Перше розгортання sim-to-real на Вашому об'єкті буде найповільнішим і найскладнішим. Друге буде значно швидшим. До п'ятого або шостого розгортання процес стане рутинним. Питання не в тому, чи стане sim-to-real стандартним підходом до розгортання гуманоїдів - економіка робить це неминучим. Питання в тому, чи буде Ваш об'єкт генерувати дані та нарощувати можливості зараз, чи починатиме з нуля пізніше.