マルチモーダルAI
空間・視覚・言語・音声を統合的に認識し、ロボットの動作へとつなげるマルチモーダルAI技術です。
Introduction
空間・視覚・言語・音声を統合するマルチモーダルAI
マルチモーダルAIは、ユーザーの指示と作業環境を同時に理解し、
ロボットの実際の動作へとつなげる人工知能技術です。
空間・視覚・言語・音声の情報を統合的に処理することで、
ロボットが作業の意図と周囲の環境をあわせて理解できるよう設計されています。
Key Feature
マルチモーダルAIの特長
01セマンティック・グラスピング
ロボットが対象物の形状だけでなく作業の文脈まで理解し、物体を識別して把持できるようにする技術です。空間認識技術とVLM（Vision-Language Model）ベースの画像認識を組み合わせることで、特定のブランドロゴや製品単位まで見分け、対象物の把持座標と作業経路を生成します。
02音声・自然言語インターフェース
ユーザーの音声を認識し、自然言語を解釈してロボットへの作業指示を生成します。LLMベースのエージェント制御構造を採用しているため、複雑なシステム操作を行うことなく、自然言語でロボットを運用できます。
03SKU単位の認識と運用環境
多様な商品が混在する物流環境でも、SKU（Stock Keeping Unit）単位の認識に基づく自動化が可能です。また、現場の作業者が自らロボットを操作できる運用環境を構築します。
Specification
主な仕様
技術検討のための詳細仕様です。
| 認識モダリティ | 空間（Spatial）、視覚（Vision）、言語（Language）、音声（Voice）の統合処理 |
|---|---|
| 視覚認識 | VLM（Vision-Language Model）ベースの物体認識（ブランドロゴ・製品単位の識別） |
| 識別単位 | SKU（Stock Keeping Unit）単位の認識 |
| 言語入力 | 音声・テキストによる自然言語 |
| エージェント構造 | LLMベースのエージェント制御（作業目的に応じたロボット動作を生成） |
| 作業出力 | 対象物の把持座標・作業経路の生成 |
| 運用方式 | プログラミング不要、自然言語によるロボット運用 |
| 適用環境 | 多品種が混在する物流・産業現場 |
Validation
進行中の協業
マルチモーダルAIによるロボット認識技術は、公的機関のR&D支援を受けて高度化を進めています。
TIPS
2025年 ディープテックTIPSに選定
韓国中小ベンチャー企業部「ディープテックTIPS」プログラムに選定され、約20億ウォン規模の研究開発支援を受けて、マルチモーダルAI技術の高度化を進めています。
お探しの製品・ソリューションはありますか？
製品デモ・現場診断のお申し込み