HARLEY-DAVIDSON Street750 + UE4 + Oculus + Arduino = JumpStart eXstream

2015.08.16 | oculus, unreal engine 4

ちょっと書くのが遅くなりましたが、、
2015年5月23日、24日、富士スピードウェイにて行われた HARLEY-DAVIDSON BLUE SKY HEAVEN にて UE4 + Oculus + Arduino + HARLEY-DAVIDSON Street750 という、実車とVR体験を組み合わせたコンテンツ「JumpStart eXstream」を展示しました。

概要等はprototypeのサイトに記載していますが、特徴としては HARLEY-DAVIDSON Street750 実車にエンジンをかけているということです。
以前の横浜ホットロッドショーバージョンでは、室内での展示ということもあり、バイクはエンジンが動いていない状態で、ハンドルやクラッチをカメラを使用しOpenCVを使いセンシングしていましたが、今回の展示では富士スピードウェイで野外ということもあり、実車のエンジンをかけることができます。
さらに、バイクをJumpStartというローラー台にのせることにより、エンジンをかけたバイクの後輪を空転させることができます。
また、最近のバイクは電子制御されている部分が多く、速度や回転数、アクセル・ブレーキの状態などをリアルタイムに取得することができます。
それらの走行情報をArduinoで取得し、描画用のPCへOSCで送信しOculus上のVR空間での走行へと反映しています。

バイクを電気系統をHackしてその情報をVR空間へ反映させています。バイクのセンシングは弊社のハードの得意なバイカーがArduinoで実装しています。

street750

実際のバイクのエンジンを始動し使用することで、実車ならではのバイクの振動やエンジン音、本物のギアチェンジのタイミングや挙動の表現、タイヤが空転しエンジンが動いているからこそのリアルな加速特性の反映が可能となりました。

今回の走行するシチュエーションとしては、アメリカのモニュメントバレーをモチーフとし、前回のソルトレイクとは違い緩やかなアップダウンのあるコースを走行します。途中セスナが飛行してきたりなどのイベントもありますが、基本的にはバイクのフィーリングとUE4で描画されたシーンを楽しみながら走行を行います。

実車のエンジンの鼓動と、タイヤの空転音、ギアの変速による実車のサスの動きなどという現実世界のバイクの挙動と物理現象と、UE4+Oculusで目の前に電子的に描画される仮想空間のリンクが、リアルとも虚構ともつかない不思議な体験になったのではないかとおもいます。
バイクの免許を持っていない人でも実車の走行感を体験できるので、そういった人達にもバイクに乗ることへ興味を持ってもらったようでした。

■システム概要
システム図_png

描画周りは以前と同じくUE4をOculusで。
バイクからの値は、ECMの値をArduino経由でOSCで描画用のUE4へ送信しています。
Arduinoからの値は
速度、回転数、ギア(ニュートラルかどうか)、アクセル開度、クラッチ、フロント・リアブレーキ
を取得しています。
このうち、速度のデータのみを使用しVR空間のバイクへと反映、その他のデータはVR空間のライダーの挙動(アクセル開度により右手の角度や、クラッチ操作による手の動きなど)の為に使用しています。
また、これも前回と同じくバイクの速度に応じての風量の変化をOSCで送信しDMXで調整しています。

■UE4

バイク上のライダーの動きは、Oculusのヘッドトラッキングのポジションに応じてIKにてボーンを変形しています。
前回のバージョンからの変更点として、腰を浮かせた立ち乗りへの対応などを行っています。

また、Street750にはサイドミラーがついているので、これの映り込みにも対応。
SceneCapture2Dを使って、サイドミラーに描画しています。
参考チュートリアル:Unreal Engine 4 Tutorial – Basic Camera Feed
カメラの位置や角度が固定だとヘッドトラッキングで頭を動かした時に違和感がでるので、Oculusのヘッドトラッキングや角度を使用し映り込み描画用のカメラの位置や角度を調整し、自然な反射っぽく見せている。
PCのスペックの関係(2つのSceneCapture2Dだと描画に負荷がかかりすぎる)で左右のサイドミラーの反射映像は1つのカメラで描画したものの左右をそれぞれに割り当てています。

04

UE4で描画するモニュメントバレーはUE4のLandScapeツールを使用し作成。
参考:ランドスケープのクイックスタートガイド/ランドスケープ ツールの操作
UE4のランドスケープツールは、かなり様々な機能があり様々な表現ができます。
特に、Sculptツールの「浸食」「水による浸食」「傾斜」などは広大な地形をそれっぽくつくるのに便利でした。

02_lite

また、走行する道路はスプラインツールを使用し配置を行っていきました。
参考:ランドスケープ スプライン/ランドスケープの編集

ランドスケープツールは地形をペイントする為に、「Landscape Material」を作成する必要があったりと少し手間な箇所もあるが、その分様々な表現が出来そうです。

 

実車のエンジンをかけるので、屋外での体験に限定されますが、実際にエンジンのかかっているバイクに跨がりOculusを装着して体験するVRの世界はかなり特異な体験です。
どこかでなにか機会があれば展示したいです。

There are no comments.

Please Leave a Reply

TrackBack URL :

pagetop