Sports×Art×Technologyで運動を点数や音楽表現に変換し、楽しく継続することができるアプリ

立命館大学理工学部の岡田志麻准教授、順天堂大学大学院スポーツ健康科学研究科の町田修一教授、東京藝術大学COI拠点の小川類特任准教授は、共同で開発した運動・トレーニングを点数や音楽表現に変換するウェブアプリ「Biosignal Art」を各大学COI拠点のホームページで5月20日に発表いたしました。

本アプリは、文部科学省と国立研究開発法人科学技術振興機構が平成25年度から開始した「革新的イノベーション創出プログラム(COI STREAM)」において採択された「運動の生活カルチャー化により活力ある未来をつくるアクティブ・フォー・オール拠点（立命館大学・順天堂大学COI拠点）」と「『感動』を創造する芸術と科学技術による共感覚イノベーション拠点（東京藝術大学COI拠点）」の共同研究の成果のひとつです。新型コロナウイルス感染症（COVID-19）の影響で日常生活が制限され、運動不足に陥っている人々のために、自分たちの研究成果で社会貢献できないかという研究者や学生の強い思いから、これまで培ってきた研究成果に基づき、約1ヵ月という短期間で開発を進めました。

本アプリ開発において、立命館大学はTechnology（運動解析技術開発）、順天堂大学はSports（運動監修）、東京藝術大学はArt（音楽監修）というそれぞれの研究者の強みを生かしながら、運動・トレーニングを点数や音楽表現に変換するシステムとして完成させました。

本アプリは、パソコンの内蔵カメラや外付けカメラで全身を映し、アプリからの指示に従って、運動・トレーニングを実施します。その後、画像内の関節位置情報から姿勢推定を実施することにより、運動・トレーニング動作をいくつかのポイントに従って、点数に変換する仕組みになっています。運動・トレーニングを行った結果は点数だけでなく音楽表現にも変換されます。この音楽表現と運動・トレーニング映像を合わせた動画をダウンロードして、結果を確認し楽しむことができます。

今回のバージョンで実施できる運動・トレーニングはスクワットのみですが、今後は運動・トレーニングや音楽のバリエーションを増やすほか、ダンスなどの多彩な身体表現も取り入れながら、楽しく継続可能なコンテンツを拡充させていきます。東京藝術大学が作成するイメージムービーも追加するなど、アプリ全体のバージョンアップを図る予定です。また、本技術を利用した商品やサービスの開発、事業の展開など、両拠点の目指すビジョンの実現に向け社会実装を目指していきます。

Sports×Art×Technologyで運動を点数や音楽表現に変換し、楽しく継続することができるアプリを開発