걸어 다니는 휴머노이드 G1이 정비 작업지시서 한 장을 받아 부품창고 랙에서 박스를 모으고 출고하기까지를 시뮬레이션으로 만든 과정을 정리한 노트다. 처음 쓰는 가상 지시서 200장으로 끝까지 돌려 30차에서 89장(배치를 바꾼 다시 잼 94장)을 완수했고, 목표(60 %, 120장)에는 못 미친다. 앞서 28차의 120장은 AMR이 로봇을 통과하던 판의 값이다(12절). 200장 중 60장은 멈춰야 맞는 이상 지시라 최대는 140장이다.

01~07절은 기초 개념이다: 물리 시뮬레이션과 접촉, 로봇 몸과 역기구학, 강화학습과 공개 보행 정책, 쥐기와 마찰, 카메라와 깊이, 언어모델과 규칙 검사, 시험 결과를 읽는 법. 개념마다 이 프로젝트에서 어떻게 썼는지를 같이 적었다. 08절부터는 프로젝트의 단계별 기록이고, 15~17절은 한계, 용어, 참고 자료다.

전체 흐름과 단계마다 쓴 소스

몸 부위별 오픈소스

읽는 법

절 제목을 누르면 펼쳐진다. 머리의 목차 단추로 어디든 건너뛴다. 숫자는 모두 시뮬레이션 기록 파일에서 옮긴 값이고, 품번·치수·무게는 가상값이다. 실패한 시도와 버그도 함께 적었다.

물리 시뮬레이터는 짧은 시간 간격마다 힘을 계산해 물체의 위치와 속도를 다음 순간으로 옮긴다. 로봇을 실제로 만들기 전에 동작을 시험할 수 있지만, 모델에 넣지 않은 것은 결과에 나타나지 않는다.

휴머노이드는 관절 수십 개를 동시에 움직인다. 손을 어디로 보낼지 정하면, 그 자리에 맞는 관절 각도를 계산하는 일이 역기구학이다.

두 다리로 서서 걷는 동작을 사람이 수식으로 짜기는 어렵다. 그래서 시뮬레이션에서 시행착오로 학습한 신경망, 곧 정책을 쓴다. 이 프로젝트는 직접 학습에 실패한 뒤 공개된 정책을 받아 썼다.

손으로 박스를 들면 박스는 손가락 마찰로만 버틴다. 박스가 손에서 빠지는 일이 지금 못 끝낸 지시의 첫째 원인이라, 이 절의 내용이 바로 다음 과제와 이어진다.

카메라 영상의 화소 하나는 공간의 한 방향에 해당한다. 그 방향으로 얼마나 떨어졌는지를 알려 주는 것이 깊이이고, 둘을 합치면 3차원 점이 나온다.

언어모델은 글을 읽고 다음 글자를 차례로 만들어 낸다. 사람이 쓴 지시서를 표 형식으로 바꾸는 데 쓸모가 있지만, 모르는 것도 그럴듯하게 채운다. 그래서 그 결과를 코드로 검사한다.

같은 시스템도 시험 방법에 따라 숫자가 크게 달라진다. 이 절은 이 프로젝트에서 숫자를 믿거나 버린 기준을 모은 것이다.

다리는 공개된 강화학습 보행 정책에 맡기고, 허리와 팔은 역기구학으로 따로 움직인다. 손 달린 G1으로 보행 정책을 직접 학습했을 때는 서기는 됐지만 제자리 돌기를 거의 배우지 못해 공개 정책으로 바꿨다.

G1 머리에는 깊이 카메라 D435 하나가 몸통에 고정되어 있고 고개가 없다. 손이 박스 앞으로 오면 손이 박스를 가리므로, 손을 뻗기 전에 허리를 숙여 칸을 한 번 보고 그 추정을 기억한 채 뻗는다.

그림 절단 거리 버그

머리 카메라 화면에서 박스를 집을 때 손이 사라진다는 지적을 받고 원인을 찾았다. MuJoCo는 카메라 바로 앞 일정 거리 안을 그리지 않는데, 그 거리가 장면 크기(31 m)에 비례해 0.31 m였다. 손·팔·가까운 선반 판이 잘려 보였다. 2 cm로 고치자 위 선반 판이 키 큰 공기필터 박스(9 cm) 윗면을 가려 그 박스를 못 보는 일이 드러났다. 그전까지는 판이 잘려 판 너머가 보였던 것이고, 지시 완수는 41장에서 35장으로 내려갔다. 볼 때만 반 걸음(0.15 m) 물러서게 해 39장으로 올렸다.

박스 라벨은 긴 옆면 한쪽에만 있고, 랙에 거꾸로 꽂힌 박스는 라벨이 벽을 본다. 로봇은 그 박스를 받침에 놓고 받침이 180° 돌아 라벨이 로봇 쪽으로 오면 머리 카메라로 QR을 읽은 뒤 담는다. 이 장치에 이르기까지 네 가지를 시도했다.

그 뒤 고친 것: 읽은 박스를 토트로 옮길 때 손에서 빠져서 천천히 옮기게 함(읽은 7개 중 토트 1 → 7), 라벨이 비스듬해 못 읽으면 판을 ±35°·±70° 더 돌려 다시 읽음(다시 읽어 살린 박스 14개), 품번을 끝내 못 읽으면 토트에 넣지 않고 사람 확인. 효과가 없거나 나빠진 것: 손가락 더 쥐기, 받침 턱, 받침을 0.98·1.05 m로 올리기, 읽은 자리에서 바로 집기.

놓는 자리와 다시 집는 손(12차)

받침에 놓기가 끝에서 끝 실패의 첫째 원인이었다. 놓는 순간 손이 어디서 멈추는지 몸 기준으로 재 보니, 실패한 판은 손이 목표보다 앞으로 7~12 cm, 오른쪽으로 4~8 cm, 위로 6~10 cm에 있었다. 박스를 180° 돌려 든 팔로는 몸 앞 15 cm까지 손을 끌어오지 못한다는 뜻이다. 받침을 오른쪽으로 5 cm, 놓는 점을 앞으로 8 cm 옮기자 손 오차가 1.3 cm로 줄었다. 그런데 이번에는 다시 집으려고 팔을 올리는 순간 박스가 받침에서 떨어졌다. 걷는 자세로 내린 오른손이 옮긴 받침 바로 아래에 있어, 위로든 박스 쪽으로든 움직이면 받침을 쳤다. 손을 옆으로 22 cm 먼저 뺀 뒤 올리니 검수 박스가 토트까지 간 비율이 56 %에서 77 %로, 지시 완수가 39에서 47로 올랐다.

지시서 글을 언어모델이 품번·수량 목록으로 바꾸고, 규칙 검사가 통과시킨 것만 로봇이 실행한다. 언어모델만 쓰면 처음 쓰는 200장 중 83장을 틀린 목록으로 실행했고, 규칙 검사를 붙이자 2장, 품명 대조를 고친 뒤(13차) 1장, 규칙 보정을 더한 뒤(14차) 0장이 됐다.

개발 세트와 시험 세트

규칙을 고칠 때 본 200장(개발 세트)과 최종 수치를 내는 200장(시험 세트)을 나눴다. 개발 세트에서 규격을 찾을 때 띄어쓰기를 지워 'φ3 1개'가 'φ31개'로 붙는 버그를 찾았고, 이름이 비슷한 부품(어스 브러시를 램프로)을 못 거르는 것을 보고 품명 대조를 넣었다. 품명 대조의 엄격도는 넷 중 오출고가 1 % 안인 것을 개발 세트에서 고른 뒤 시험 세트에 한 번 적용했다.

품명 대조를 음절 묶음으로(13차)

끝에서 끝 평가에서 정상 지시 140장 중 43장이 로봇에 가지도 못하고 멈췄다. 가장 많은 이유는 품명 대조였다. 낱말 단위로 겹침을 세니 '오링 키트'와 'O링 세트'는 겹치는 낱말이 없고, '접지브러시'는 붙여 써서 '접지 브러시'와 다른 낱말이 됐다. 띄어쓰기를 지우고 영문 O를 '오'로 읽은 뒤 음절 두 개씩 묶어 겹침을 세도록 바꿨다. 기준은 개발 세트만 보고 정했고(정상 그대로 실행 86 → 97, 잘못 실행 1 → 1), 시험 세트에는 정한 뒤 한 번만 돌렸다(96 → 109, 2 → 1). 비슷한 이름 부품을 바꿔 고른 경우('어스 브러시'를 O링으로)는 여전히 멈춘다.

규칙 보정(14차)

개발 세트에서 정상 지시를 그대로 실행한 수는 93에서 114로, 잘못 실행은 0으로 유지됐다. 시험 세트에는 정한 뒤 한 번 돌려 96에서 111, 잘못 0, 이상 지시 60장 모두 멈춤이었다. 끝에서 끝 14차에서 로봇까지 간 지시는 111장, 지시 완수 54장, 잘못 출고 0장이다.

Qwen3.5로 바꾸고 품명 확인(22차)

해석 모델을 Qwen2.5-VL-7B에서 Qwen3.5-9B(2026년 2월 공개, Apache-2.0)로 바꿨다. 같은 프롬프트, 생각 모드는 끔. 규칙 검사 없이는 정상 지시 140장 중 120장을 맞혀 앞 모델(102장)보다 나았지만, 규칙 검사를 거치면 114장으로 같았다. 멈춘 이유 대부분은 '코터핀'처럼 카탈로그 품명과 다른 말을 쓴 줄이었다. 언어모델이 그 줄을 모른다고 빼거나, 맞게 풀어도 글자 대조가 겹침 0이라 규칙이 멈췄다.

지시서 한 장을 언어모델 해석부터 로봇 출고까지 한 번에 돌린다. 지표와 합격 목표는 결과를 보기 전에 정했다: 지시 완수율 60 % 이상, 오출고 1 % 이하, 넘어짐 5 % 이하. 지금 값은 30차로, 완수 89/200(배치를 바꾼 다시 잼 94/200)이라 완수 목표에는 못 미친다. 오출고 0장과 넘어짐 2·4/136(최대 2.9 %)은 목표 안이다. 28차에서 120/200으로 목표에 닿았지만, 그때는 AMR이 로봇을 통과하고 있었다. 25차부터는 라벨이 벽 쪽인 박스가 없다고 가정한 조건이다.

20차부터 바뀐 것

그 사이 해 보고 뺀 것: 손 가속도만큼 더 쥐기(MARC 논문 방법), HERO에 팔·허리까지 맡기기, 검수 받침 일에도 HERO(21차, 효과 없음), 가까운 칸은 옆걸음만(24차, 163 → 150). 실패를 골라 담은 부분 묶음에서는 셋 다 좋아 보였는데 200장 두 배치에서는 아니었다. 그래서 채택은 200장 두 배치로만 정한다.

숫자를 크게 올린 것은 버그 찾기였다(26~28차)

못 끝낸 지시를 박스 단위로 다시 세자 두 가지가 드러났다. 박스를 담았다고 기록됐는데 끝에 사라진 지시가 있어 0.1초 기록을 넣으니, AMR이 경로를 바꿀 때 1 m를 순간 이동해 토트 속 박스가 초속 74 m로 튀어나가고 있었다. 또 걷기 시간 초과를 0.5초 기록으로 보니 회전 명령에도 몸 방향이 60초 그대로였다. 시뮬레이션에서 로봇과 토트 벽의 충돌을 꺼 둔 탓에 팔이 벽을 지나 토트 속 박스에 걸려 로봇이 붙들린 것이다. 시간 제한을 늘리는 것으로는 풀리지 않았고, 손을 빼는 동작을 넣자 두 배치 합이 206에서 240으로 올랐다.

AMR이 로봇을 통과하고 있었다(29~30차)

고친 것: 차체·토트 벽 충돌을 켬, 앞에 로봇이 있으면 서는 안전 정지와 닿으면 서는 범퍼(값은 가정값), 반대쪽 줄로 갈 때 로봇 앞에서 차선 바꾸기, AMR이 선 뒤 로봇이 걷기, 놓은 뒤 손을 토트 위로 뺀 다음 내리기. 200장 두 배치에서 가장 깊은 겹침은 3.1 cm이고, 이는 부드러운 접촉 모델에서 생기는 눌림이다.

판끼리 흔들림

같은 설정을 배치만 바꿔 다시 돌리면 지시 완수가 39장과 32장으로 달라졌다. 박스 하나를 놓친 차이가 뒤 칸의 경로를 모두 바꾸기 때문이다. 처음에는 200장 한 판의 흔들림을 약 ±5장으로 봤는데, 18차 설정을 배치만 바꿔 다시 돌리니 73장과 60장으로 13장이나 달랐다. 두 판씩 합치면 6차 설정 71/400(18 %), 18차 설정 133/400(33 %)이다. 막대 몇 장 차이는 개선으로 보지 않고, 큰 처치는 두 판으로 확인한다. 실패한 지시만 골라 고친 처치(일반 집기를 1 cm 낮게)는 그 묶음에서는 좋아 보였지만 전체 200장에서는 39장에서 28장으로 나빠져 되돌렸다. 처치는 전체 200장으로만 판단한다.

못 끝낸 이유

30차 두 배치에서 못 끝낸 정상 지시 97장: 집기·옮기기 실패 56, 박스 못 봄 12, 해석에서 멈춤 8, 담은 뒤 토트에서 빠짐 등 8, 큰 상자 6, 넘어짐 6, 도킹 1. 참고로 충돌을 켜기 전인 28차는 40장이었다.

예전 6차에서 못 끝낸 정상 지시의 첫 원인: 검수 25, 라벨이 앞을 보는 박스 집기 16, 못 봄 13, 넘어짐 3. 라벨 앞 박스 집기 실패는 토트 위로 옮기다 손에서 빠짐(15개)과 손이 박스까지 못 닿음(9개)으로 나뉜다. 못 본 박스 대부분은 앞 박스가 실패해 떨어진 박스 때문에 다음 칸 앞 20 cm 안에 서지 못한 경우다.

걷다가 막히는 판(15차)

14차에서 다음 박스를 못 본 지시 19건은 거의 모두 다음 칸까지 30초 안에 가지 못한 경우였다. 한 건을 0.5초마다 기록해 보니 두 가지였다. 통로 끝에서 반대쪽 칸으로 가려고 제자리에서 180° 도는 동안 옆으로 0.8 m 밀려, 돌고 나서 랙 끝 기둥 쪽으로 걸어가 막혔다. 칸을 비스듬히 본 채 통로 가운데로 물러나려 할 때는 뒤·옆 명령이 통로 방향으로 새어 3 m를 미끄러져 갔다. 돌 때는 돌기 시작한 점을 지키고, 물러나기는 5초를 넘기지 않게 했다. 못 본 박스가 35개에서 16개로, 지시 완수가 54에서 58로 늘었다. 그래도 몸이 랙 끝이나 AMR 토트에 걸려 제자리걸음하는 판이 남아, 3초 동안 5 cm도 못 가면 1초 물러났다 경로를 다시 잡고 걷기 제한을 45초로 늘렸다(16차: 못 본 박스 11, 지시 완수 61).

좁은 박스는 손목만 천천히(18차)

라벨 앞 박스 집기 실패는 폭 4.5 cm 박스(분할핀·퓨즈)에 몰렸다. 손가락을 더 세게 쥐게 하면 박스가 손가락에 밀려 오히려 들리지 않았고, 손과 손목을 함께 천천히 옮기거나(39 → 25) 손목을 아예 안 돌리면(61 → 17) 전체가 크게 나빠졌다. 옮기는 동안 0.1초마다 손과 박스 거리를 기록하니, 박스는 손에 잘 들려 있다가 토트 위로 가며 손목이 약 90° 도는 순간 빠졌다. 좁은 박스만 손목 도는 속도를 1.5에서 0.5 rad/s로 낮추고 손 속도는 그대로 두었다. 지시 완수가 61에서 73으로 늘었다.

토트 출고와 출고 확인

처음 계획은 로봇이 토트를 두 손으로 들고 출고대까지 걷는 것이었다. 실제 피킹 창고처럼 AMR이 토트를 싣고 가는 쪽으로 바꿨다. 다 모으면 로봇이 AMR 차선 반대쪽으로 물러서고, AMR이 출고대 옆 도킹 자리로 간다. 로봇이 칸 앞에 선 채로 AMR을 보내면 AMR이 로봇 앞에서 차선을 바꾸며 로봇을 최대 1.9 m 밀고 갔다. 물러선 뒤에도 손이나 몸이 토트 속 박스에 걸려 끌려오면 10 cm에서 AMR이 멈추고 사람을 부른다(200장 중 3건 안팎). 옮기는 동안 토트에서 빠진 박스는 13·14차에서 1개씩, 15·16·18차에서 0개였다.

28차 기록의 두 장면(칸에서 집기, 큰 상자 두 손으로 들기)을 월드모델 Cosmos Transfer 2.5에 넣어 작업 환경만 철도 차량기지 부품창고(낮·야간)로 바꿨다. 네 편 모두 프레임 10·50·90에서 로봇 자세와 랙 위치가 원본과 맞았다.

실사 렌더와 월드모델 증강의 차이

만들다 생긴 버그 하나: 같은 종류 박스 셋이 라벨 판 모양 하나를 같이 쓰는데, 박스마다 재질 칸을 지우고 다시 만들어 앞 박스의 라벨 그림이 빠져 흰 판으로 나왔다. 재질 칸은 모양을 처음 불러올 때 한 번만 만든다.

컴퓨터 네 종류에 일을 나눴다. 한 GPU에는 한 작업만 올리고, 원격 컴퓨터는 이 프로젝트 폴더만 쓴다.

모두 시뮬레이션이다. 25차부터 모든 박스의 라벨이 통로 쪽을 본다고 가정하므로, 적치가 잘못된 라벨(벽 쪽)은 다루지 않는다. 품번 체계, 박스 치수·무게, 깊이 카메라 결함 값은 가정값이고 실제 차량기지 자료로 확인하지 않았다. 작업지시서는 가상으로 만든 글이라 실제 지시서의 표기 다양성을 다 담지 못한다. 피킹 AMR은 정해진 경로로 움직이고 앞에 로봇이 있으면 서기만 해서, 실제 AMR처럼 길을 새로 찾지는 않는다(안전 정지 거리는 가정값). 토트는 로봇이 들고 가지 않고 AMR이 출고대 옆으로 싣고 간다(실제 피킹 창고에서 흔한 방식). 로봇이 토트를 두 손으로 드는 동작은 만들지 않았다.

모두 59개.

• Todorov 외 2012. MuJoCo: A physics engine for model-based control. IROS. DOI
• Wampler 1986. Manipulator inverse kinematic solutions based on vector formulations and damped least-squares methods. IEEE Trans. SMC. DOI
• Schulman 외 2017. Proximal Policy Optimization Algorithms. arXiv 1707.06347
• Tobin 외 2017. Domain Randomization for Transferring Deep Neural Networks from Simulation to the Real World. arXiv 1703.06907
• Johannink 외 2019. Residual Reinforcement Learning for Robot Control. arXiv 1812.03201
• Mahler 외 2017. Dex-Net 2.0: Deep Learning to Plan Robust Grasps. arXiv 1703.09312
• Morrison 외 2018. Closing the Loop for Robotic Grasping (GG-CNN). arXiv 1804.05172
• NVIDIA 2025. GR00T N1: An Open Foundation Model for Generalist Humanoid Robots. arXiv 2503.14734
• Dai 외 2022. DREDS: Domain Randomization-Enhanced Depth Simulation. arXiv 2208.03792
• Intel. RealSense D400 Series Datasheet. PDF
• NVIDIA. Isaac Lab, Depth camera randomization. 문서
• NVIDIA. Cosmos Transfer 2.5. GitHub, Cosmos Cookbook 문서
• Unitree. G1 humanoid, Dex3-1 hand. unitree.com/g1
• MuJoCo Menagerie, unitree_g1. GitHub
• Qwen3.5-9B. Hugging Face, Qwen2.5-VL. Hugging Face
• Dong 외 2026. HERO: Learning Humanoid End-Effector Control for Visual Whole-Body Open-Vocabulary Object Grasping. arXiv 2602.16705, GitHub
• NVIDIA. GR00T-WholeBodyControl(Decoupled WBC 하체 정책, GEAR-SONIC). GitHub
• zxing-cpp. GitHub