Twilioブログ

Twilio社 マルチユーザーARアプリケーションAPIを発表

Programmable Video のリアルタイム音声・ビデオに新しくARメタデータをブリッジする機能が追加

当ニュースは、2017 年 10 月 26 日、Twilio社プレスリリース記事の日本語訳として提供しています。

サンフランシスコ(カリフォルニア州) 2017/10/26 : クラウドコミュニケーションプラットフォームのリーディングカンパニーである Twilio Inc.(NYSE:TWLO) は、複数ユーザーに対応したAR(拡張現実) 機能を、Programmable Video の一部として追加しました。エンジニアは、これまでにも増して即時的で仮想的体験にあふれるアプリケーションの開発が可能になります。詳しくは、 →こちら をご参照ください(英文)。

ARとは、端末に付属のカメラやマイクを活用し、仮想的なコンテンツを現実に重ね合わせビデオストリームへ出力する技術で、ユーザーが実際に目にする現実の世界に、コンピュータが生成した映像や情報を重ね合わせて表示するものです。従来、ARアプリケーションの開発は、その複雑性からユーザー体験を実装したり共有したりするための開発規模が大きくなりがちでした。複数ユーザーの音声とビデオをARアプリケーションに接続するためには、まず音声とビデオのルーティングやストリーミングの方法を解決し、それと同時にデータの同期をしかもリアルタイムに実現しなければなりませんでした。

Twilio の Programmable Video は、これらの課題を解決し、これまでにない全く新しいタイプのARアプリケーションの開発を可能にします。

グローバルメディアサーバーインフラ

Twilio の Programmable Video プラットフォームは、グローバルに展開しており、世界どこからでも低遅延なメディアサーバー環境を提供します。クライアント側で音声とビデオのレイアウトや空間化を完全にコントロール、各ユーザーのデバイスへ配信します。この手法で低遅延で高い品質の通信を実現、また従来の従来のマルチポイントコントロールユニット(MUC)メディアサーバーテクノロジーに比べ、モバイル端末への実装や対応が柔軟に行える優位性を持っています。

データトラックAPI

twilio-AR.gif新しい Twilio のデータトラックAPIは、エンドポイント間の重要なメタデータを共有するために、別々のコミュニケーションチャンネルを設定する必要がありません。このデータトラックは、音声とビデオの詳細や空間化をはじめとするARオブジェクトのイベントを伝送することが可能です。メタデータはリアルタイムで共有されるため、ARの更新は即座に反映され、より現実に没入した体験をユーザーに提供することができます。


メディアシンクAPI

whiteboard.gifメディアシンクAPIは、ARメタデータをリアルタイムメディアと同期させることに使い、正確なARオブジェクトやビデオのプレイバックを実現します。メディアシンクは間もなく、Twilio の iOS, Android SDK として提供する予定です。→こちら よりサインアップしてより詳しい開発情報をご参照ください。

これらの Programmable Videoプラットフォームの新機能は、Apple ARKit や Google ARCore などのAR機能と連携します。

「特に遠隔コラボレーションを行うシーンでは、AR技術は現実世界におけるやりとりや物事の理解をする手段として、完全な方法であると言える。」と Twilio社 Programmable Videoプロダクトディレクターの Rob Brazier はいいます。「想像してみてください、みなさんがケーブルテレビ会社に連絡をし、単純に装置のランプが点滅していることを映像で見せることができたら、ケーブルテレビ会社の人はすぐ何が起こったのか理解し、ケーブルを正しくどこに接続すればよいのか、その現実の視界が映るスクリーンに手順を重ね合わせて示すことができるのです。営業や遠隔サポートの品質がどのくらい向上するかは、簡単に想像できるでしょう。」

ARのスタートアップである Streem は、ホームサービスアプリケーションに Twilio の Programmable Video を選びました。デモは →こちら でご覧いただけます。Programmable Video の新機能で、このようなバラエティに富んだARコミュニケーションを実現するアプリケーションを、一般コンシューマー向け・エンタープライズ向けを問わず幅広く開発できるようになります。

「リモートARを実装した先発組の企業の1つとして、当社独自の技術的なチャレンジを打ち出す必要がありました。Twilio のトップクラスのチームと製品群は私たちのニーズにマッチし、そして多いに注目に値するものでした。」と Streem 共同創業者・CTO の Sean Adkinson はいいます。「創業当時からのトップクラスのサポートそしてコラボレーション。Streem の成功は、Twilioに懸かっています。私たちは絶え間なく、遅れなく、このAR環境をスケールしていかなければなりません。Twilioはその大きな役割を担っています。」

いくつかのARコミュニケーションは、以下のようなケースで使われています。

仮想3Dリモートコラボレーション、例えば建設・医療・製造で使われるようなものは、音声のリアルタイム翻訳を行い、ビデオストリームに字幕として表示したり、リアルライフシンクといって、感情や口頭で発した音声のデータをアバターに反映する技術は、ゲームやテレプレゼンス(遠隔地にいる人がまるで目の前に存在しているような効果を作る仮想現実技術) に使われます。

Twilio の Programmable Video プラットフォームを使えば、既存のWebアプリケーションやモバイルアプリケーションへ簡単にリアルタイム・マルチユーザーのビデオ機能を追加することが可能になります。新しいAR APIを含め、Programmable Video は、Peer to Peer ビデオ・グループルームビデオの両方に対応し、最大 50人までのビデオ通信に対応します。Programmable Video は、iOS, Android, Java Script SDK も提供します。これらは、リアルタイムコミュニケーションでは標準の Web RTCベースです。

開発者の方は、→こちら より詳しい情報、サンプルのダウンロードが行えます。

  • このエントリーをはてなブックマークに追加