トップ / 解説 / Sim2Realとは。仮想空間と現実のずれは、なぜ生まれ、どう埋めるのか

SIMULATION

シミュレーション

Sim2Realとは。仮想空間と現実のずれは、なぜ生まれ、どう埋めるのか

フィジカルAIの現場 編集部

金属のグリッパーと仮想モデルを並べたコンセプトイメージ
AI生成によるコンセプトイメージ

先に結論

Sim2Realとは

Sim2Real(シム・トゥ・リアル)は、シミュレーション(Sim)で学習させた制御の方法を、現実(Real)のロボットで使うことを指します。NVIDIAは学習用の公式資料で「シミュレーションで方策を学習させ、実機に展開する過程」と説明しています。

仮想空間を使う理由は、安全に、速く、大量に試せるからです。トヨタ自動車は、数千体のロボットを仮想空間で同時に学習させ、1〜2時間ほどでバランスを取って歩くところまで習得できたと公表しています(2026年3月)。

ただし、仮想空間でうまく動いた方法が、現実でも同じように動くとは限りません。この成績の差を「Sim2Realギャップ」と呼びます。

ずれはどこから生まれるか

NVIDIAの資料は、ずれの原因を4つに分けています。

センサー現実のカメラにはノイズやぼけ、歪みがある。照明も仮想空間とは違う
駆動(モーター)摩擦、ガタ、熱の影響が、仮想空間のモーターには入っていない
物理物が触れ合うときの計算は近似。柔らかい物や液体は再現が難しい
機体の作り設計図と実物には差があり、重さなどの値は推定

富士通研究所は技術ブログ(2026年8月)で、実機には「足裏の摩耗、床材のばらつき、組み立て誤差、通信遅延」など、仮想空間では厳密に再現できない差が無数にあると書いています。

トヨタの例も分かりやすいものです。バスケットボールのドリブルを学習させたところ、仮想空間ではボールの位置と速度を直接取れるのに対し、実機ではカメラで推定する必要がありました。その誤差と遅れが効いて、現実での成功率が下がったと説明しています。

ずれを埋める4つの方法

  1. 条件をわざとばらつかせる

    呼び名
    ドメインランダマイゼーション
    やること
    学習のたびに、床の摩擦、荷物の形、モーターの強さ、制御の遅れなどを少しずつ変える
    実例
    富士通は、固定していない箱を積んだ四足歩行ロボットが、段差・斜面・芝生・砂地を箱を落とさずに歩けたとしている(成功率の数値は示されていない)
  2. 実機を測って仮想空間を合わせる

    呼び名
    システム同定
    やること
    実機を動かして得たデータから、摩擦や慣性などの値を推定し、仮想空間に反映する
    実例
    トヨタは実機の駆動部のデータで仮想空間のモデルを合わせ、カメラの誤差と遅れもモーションキャプチャで測って組み込んだ
  3. 実際のデータを混ぜて学習する

    呼び名
    仮想と現実の同時学習
    やること
    少量の実データに、仮想空間で作ったデータを足して学習する
    実例
    2025年3月の論文は、カメラ画像を使う物体操作で、現実での成績が平均38%上がったと報告している(著者の報告値)
  4. 現場を写して仮想空間を作る

    呼び名
    Real2Sim
    やること
    現場を3Dスキャンし、その場所そっくりの仮想空間を作る
    実例
    2024年9月の論文は、3DGSで見た目を再現した仮想空間だけで学習し、現実での成功率が平均86.25%だったと報告している。現実のデータで学習した場合は97.5%(著者の報告値)

空間認識技術のKudanは2026年11月の決算説明で、現場のスキャン、環境の自動生成、シミュレーションでの検証の3工程を自社の移動ロボット開発に使い、開発効率が最大で約80倍になったと説明しています。何を基準にした効率かは示されておらず、同社の公称値です。

現場を3D化すれば訓練場になる、わけではない

4つ目の方法には、見落としやすい点があります。NVIDIAは、スマートフォンなどで撮った映像から仮想空間を作る道具の説明書に、再構成した空間は「見た目の形だけで、当たり判定の性質を持たない」と明記しています。ロボットが立つ床も、別に足す手順になっています。

3Dスキャンが縮めるのは、主に見た目のずれです。摩擦や遅れといった物理のずれは、2つ目の「実機を測って合わせる」などの別の手当てが要ります。

数字を読むときの注意

導入を考える側が先に決めること

編集部の整理です。

出典

あわせて読む

← 解説の一覧へ