XR、生成AIを使った新技術発表（ゼブラ社との共同開発）

2025年2月20日、株式会社NTマイクロシステムズは ゼブラ株式会社 及び 株式会社インタラクティブラボラトリー との共同でXR、生成AIを使った新技術を開発しました。
▶ 【ゼブラ株式会社からのプレスリリース】紙にも仮想空間にも書く（カク）ことができる新技術「kaku lab.（カクラボ）」発表

参考）Yahooニュース: 文房具のゼブラ「仮想空間に手書きできるペン」を発表
https://news.yahoo.co.jp/articles/887c15ab0fb998a5ed315ddf7e3f5bc28c98e72e

■ 開発中の機能動画等のご紹介・参考資料類

以下、開発中の機能に関するデモ映像及び参考資料類となります。現在、ビジネスパートナー様との協業に向けて、効率的な開発ツールとなる SDK/ADK の提供も含む準備を進めております。

▶ T-Penでの映像制作基本例
デモでの映像制作の流れと作例を示したものです。

▶ ライブラリでの映像生成例
様々な画像と映像の生成例です。現行システムから画像を生成し、映像化しています。

▶ 効果音サウンド生成(MMAudio)
システムを利用して映像と同時に効果音サウンドを生成した映像の例です。サウンド（MMAudio）をシステム内で利用し作成しています。

▶ XR多国語翻訳
XRを使った多国語翻訳機能の例です。読み込んだ画像を解析し、自動翻訳します。現在は、日本語・英語・韓国語・イタリア語・簡体語・繫体語をサポートしています（他国語にも自由に切り替え可能）

参考）システム全体図

＜システムの特徴＞
・このシステムはT-Penを用いての生成AIをXRを含む多数のプラットフォームで動作させるためのベースシステムです。
・実際の一部機能を利用したデモを今回発表いたしました。
・このシステムの特徴としては以下のものがあります。
　- 多数のLLM・画像・映像・３Dなどの生成AIをT-Penと合わせて利用可能
　- ゲームエンジンなどとライブラリ（ADK/SDK）を利用して高速かつ低コストで開発可能
　- カスタマイズ性：ComfyUIをバックエンド処理に持ち、複雑な処理を短期間にカスタマイズ可能
　- 生成AIの自由度：現行の様々な市場変化に合わせ利用する生成AIの追加や変更が容易
　- スケーラビリティ：アプリケーション次第でユーザ端末１台から大規模GPUサーバーシステムまでを可能とするアーキテクチャ

改訂履歴:
2025-02-20 初版公開