トップ / 解説 / Sim2Realとは。仮想空間と現実のずれは、なぜ生まれ、どう埋めるのか
SIMULATION
シミュレーション
Sim2Realとは。仮想空間と現実のずれは、なぜ生まれ、どう埋めるのか

先に結論
- Sim2Realは、仮想空間で学習させたロボットの動きを、現実の機械に移すことです。
- 仮想空間と現実には必ずずれがあり、「見た目のずれ」と「物理のずれ」は別々に手当てします。
- 現場を3Dスキャンしても、それだけでは訓練場になりません。当たり判定などの物理は別に作る必要があります。
Sim2Realとは
Sim2Real(シム・トゥ・リアル)は、シミュレーション(Sim)で学習させた制御の方法を、現実(Real)のロボットで使うことを指します。NVIDIAは学習用の公式資料で「シミュレーションで方策を学習させ、実機に展開する過程」と説明しています。
仮想空間を使う理由は、安全に、速く、大量に試せるからです。トヨタ自動車は、数千体のロボットを仮想空間で同時に学習させ、1〜2時間ほどでバランスを取って歩くところまで習得できたと公表しています(2026年3月)。
ただし、仮想空間でうまく動いた方法が、現実でも同じように動くとは限りません。この成績の差を「Sim2Realギャップ」と呼びます。
ずれはどこから生まれるか
NVIDIAの資料は、ずれの原因を4つに分けています。
| センサー | 現実のカメラにはノイズやぼけ、歪みがある。照明も仮想空間とは違う |
|---|---|
| 駆動(モーター) | 摩擦、ガタ、熱の影響が、仮想空間のモーターには入っていない |
| 物理 | 物が触れ合うときの計算は近似。柔らかい物や液体は再現が難しい |
| 機体の作り | 設計図と実物には差があり、重さなどの値は推定 |
富士通研究所は技術ブログ(2026年8月)で、実機には「足裏の摩耗、床材のばらつき、組み立て誤差、通信遅延」など、仮想空間では厳密に再現できない差が無数にあると書いています。
トヨタの例も分かりやすいものです。バスケットボールのドリブルを学習させたところ、仮想空間ではボールの位置と速度を直接取れるのに対し、実機ではカメラで推定する必要がありました。その誤差と遅れが効いて、現実での成功率が下がったと説明しています。
ずれを埋める4つの方法
-
条件をわざとばらつかせる
- 呼び名
- ドメインランダマイゼーション
- やること
- 学習のたびに、床の摩擦、荷物の形、モーターの強さ、制御の遅れなどを少しずつ変える
- 実例
- 富士通は、固定していない箱を積んだ四足歩行ロボットが、段差・斜面・芝生・砂地を箱を落とさずに歩けたとしている(成功率の数値は示されていない)
-
実機を測って仮想空間を合わせる
- 呼び名
- システム同定
- やること
- 実機を動かして得たデータから、摩擦や慣性などの値を推定し、仮想空間に反映する
- 実例
- トヨタは実機の駆動部のデータで仮想空間のモデルを合わせ、カメラの誤差と遅れもモーションキャプチャで測って組み込んだ
-
実際のデータを混ぜて学習する
- 呼び名
- 仮想と現実の同時学習
- やること
- 少量の実データに、仮想空間で作ったデータを足して学習する
- 実例
- 2025年3月の論文は、カメラ画像を使う物体操作で、現実での成績が平均38%上がったと報告している(著者の報告値)
-
現場を写して仮想空間を作る
- 呼び名
- Real2Sim
- やること
- 現場を3Dスキャンし、その場所そっくりの仮想空間を作る
- 実例
- 2024年9月の論文は、3DGSで見た目を再現した仮想空間だけで学習し、現実での成功率が平均86.25%だったと報告している。現実のデータで学習した場合は97.5%(著者の報告値)
空間認識技術のKudanは2026年11月の決算説明で、現場のスキャン、環境の自動生成、シミュレーションでの検証の3工程を自社の移動ロボット開発に使い、開発効率が最大で約80倍になったと説明しています。何を基準にした効率かは示されておらず、同社の公称値です。
現場を3D化すれば訓練場になる、わけではない
4つ目の方法には、見落としやすい点があります。NVIDIAは、スマートフォンなどで撮った映像から仮想空間を作る道具の説明書に、再構成した空間は「見た目の形だけで、当たり判定の性質を持たない」と明記しています。ロボットが立つ床も、別に足す手順になっています。
3Dスキャンが縮めるのは、主に見た目のずれです。摩擦や遅れといった物理のずれは、2つ目の「実機を測って合わせる」などの別の手当てが要ります。
数字を読むときの注意
- 成功率は横に並べられません。課題、ロボット、測り方がそれぞれ違います。86.25%は論文が選んだ物体操作の平均で、他の現場の見込みではありません。
- 「最大」と付く数値は上限です。条件が最も良かったときの値で、平均ではありません。
- 当事者の発表は公称値です。第三者が同じ条件で確かめた値とは限りません。
導入を考える側が先に決めること
編集部の整理です。
- どのずれが効く作業か。カメラで見て動く作業は見た目のずれ、力加減が要る作業は物理のずれが効きます。
- 実機で試せる回数。実データを混ぜる方法も、実機を測る方法も、現場での時間が要ります。止められる時間を先に見積もります。
- 現場はどのくらい変わるか。レイアウトが変わるたびに、スキャンと仮想空間の直しが発生します。
出典
- NVIDIA「What Is Sim-to-Real?」(学習用の公式資料・英語)(公開日の記載なし・2026年11月16日確認)
- 富士通研究所 技術ブログ「シミュレーションと実世界のギャップを埋めるSim-to-Real技術」(2026年8月31日公開・2026年11月16日確認)
- トヨタ自動車 未来創生センター「ヒューマノイドロボットと強化学習の取り組み」(2026年3月31日公開・2026年11月16日確認)
- 論文「Sim-and-Real Co-Training」(英語)(2025年3月31日公開・2026年11月16日確認)
- 論文「SplatSim」(英語)(2024年9月16日公開・2026年11月16日確認)
- NVIDIA Omniverse NuRec 説明書「Reconstruct Scenes from Mono Camera Data」(英語)(2026年10月30日公開・2026年11月16日確認)
- ログミーファイナンス「Kudan 決算説明」(2026年11月13日公開・2026年11月16日確認)