Tuesday, March 17, 2009

Vers la réalitée augmentée avec la wiimote (2)

[Version Française]

Ce post vient à la suite d'un précédent - des mondes virtuels à la vraie vie - à propos de l'utilisation de la wiimote en tant que périphérique 3D. Les applications et publications, présentées ici, se destinent à la C.A.O. et à la Réalité Augmentée.

Nom/Logo

Description

Comment- -aire

/Auteur

Inio's Wii Remote Projects

Self-calibrating optical object tracking using Wii remotes.

(trad. : calibration automatique de suivi d'objet à l'aide de Wii Remotes)

Société des Ingénieurs en Instrumentation Photo-Optique, Université de Californie Santa Cruz, U.S.A.

-

Issue d'un projet de recherche en mastère, une application impliquant 3 wii remotes permet une manipulation suivant 6 Degrés De Liberté (Ce qui signifie que le système est capable de discerner les mouvement gauche/droite/haut/bas/avant/ arrière ainsi que les rotations de roulis,tangage et lacet).

En outre, un driver de communication pour MacOS a été développé pour l'occasion en Logiciel Open Source.

Lien(Lang. : Anglais)

Sources / Binaires /
Vidéo

S.E. : MacOS

Auteur : Ian Rickard
(2008)

BLIZ

Berliner Labor für Interaktives Zeug

(trad. : Laboratoire d'Interaction Berlinois) Allemagne

Plusieurs projets liés à la Réalité Augmentée sont, ici, exposés :

- musique d'ambiance selon le style de conduite du véhicule (13/04/2008)

- Projets "InfoTorch" [A](30/03/2008) [B](29/03/2008)

Lien (Lang.: Allemand /Anglais)

Auteurs :

Peter Sinclair, Lauritz Lipp, Thomas Goethe, Katleen Piltz

VRhome


Le site VRhome est dédié au développement de jeu sous XNA et à la Réalité Virtuelle. Ici, un système composé de DEL, de 2 Wii Remotes et d'un moniteur à vision stéréoscopique permet à l'utilisateur de se déplacer et de bouger des objets dans un monde virtuel. Le site fourmille d'indications de la conception électronique à la configuration logicielle.

La vidéo ci-dessous présente un exemple de manipulation :

Lien(Lang.: Anglais)

Source/ Binaires

SE : Windows

Auteur :

Timo Fleisch



[Wiimote Desktop Virtual Reality – Vidéo YouTube de vrwizard - 04/01/2009]

Dans le même domaine, de nouveaux documents sont aussi disponibles :

Objet [Titre]

Locali- -sation

Publication, Rapport de Projet de Mastère – [Multisensor Data Fusion Applied to Augmented Reality] (trad. Fusion de données de plusieurs capteurs appliquée à la réalité augmentée)

Université de Technologie de Delft, Pays-Bas

WWW

Document : PDF

Auteur

(date)

Andres Navarro

(Août 2008)

Lang. : Anglais

Résumé

La thèse du rapport de projet de Mastère MKE traite de la combinaison de données de multiples capteurs afin d'améliorer le concept de Réalité Augmentée. Dans ce cadre, la Wiimote est envisagée comme un périphérique rendant compte de la gestuelle des mains de l'utilisateur.

Extrait du résumé :

"Cette thèse présente une architecture d'un système d'acquisition et d'intégration des données provenant de multiples capteurs. L'objectif étant de fournir avec précision des positions et des interactions de la main de l'utilisateur à une plateforme de Réalité Augmentée. Différents procédés de fusion de données, une architecture logicielle dédiée ainsi qu'une expérimentation de RA efficace ont permis d'étudier l'impact de la mémorisation spatiale des mouvements sous certaines conditions. L'expérimentation a permis de mettre en évidence, dans un premier temps, les performances, l'ergonomie et la représentativité de la plateforme de RA. Puis elle a permis de soutenir en partie l'hypothèse que la mémorisation spatiale est bien meilleure quand l'utilisateur peut à loisir se déplacer dans un environnement et non quand il observe une scène de manière statique. En outre plusieurs lignes diretrices ont été fournies en vue de compléter l'expérience acquise avec une plateforme de RA."

*RA : Réalité Augmentée

Commen- -taire

-




Objet [Titre]

Locali- -sation

Publication, Rapport de Projet de Mastère – [Affordable Head Tracking] (trad. : Un système de suivi de mouvement de la tête à bas prix)

Départment d'Informatique, Université de Groningen, Pays-Bas

WWW

Document : PDF

Auteur

(date)

J.B. SMIT

(04/07/2008)

Lang. : Anglais

Résumé

La thèse présente l'état de l'art des différentes techniques de suivi de mouvement de tête (ang. head tracking) ainsi qu'une utilisation de la Wii Remote pour cela .

Extrait de l'Introduction :

"Inspiré des fameuses présentations de Johnny Lee, ce rapport présente une nouvelle version de l'application dédiée à permettre à l'utilisateur lambda d'aborder les mondes virtuels. Ceci a été rendu posible grace à un système de suivi des mouvements de la tête ; ce dernier rendant compte des déplacement sur un écran d'ordinateur standard et permettant de corriger la perspective de la vision suivant la position de l'utilisateur. Le code de M. Lee a été modifié en vue d'améliorer la portabilité et le rendu 3D. En définitive, nous avons voulu démontrer que ce système de suivi de mouvement était fonctionnel et fournissait un système bon marché de représentation de Réalité Virtuelle."

Commen- -taire

Merci de poster le lien vers le code s'il est disponible.




Pour finir, ce dernier projet propose de faire un jogging dans un environnement virtuel :

Tokyo Jogging est un projet transversal (ang :"mashup" project) regroupant l'utilisation des périphériques Wii Remote et Wii-Fit ainsi que de google street view. Les différents capteurs transmettent les positions et mouvements du Joggeur. Ensuite, ces informations sont interprétés comme un déplacement virtuel par l'ordinateur et de nouvelles coordonnées sont envoyées à l'application Internet pour rafraichir l'image et donner la sensation de déplacement.

Auteur : Roy Katsuma (Oct. 2008)

Code Source and Instructions


Wiimote as input device for virtual reality (2)

[English Version]

This post follows a previous one - From virtual reality to real life - about the use of the wiimote as a 3D input device. Here, new applications and publications were provided and designed for C.A.D. modelling and Augmented Reality.

Name/Logo

Description

Comment/ Author

Inio's Wii Remote Projects

Self-calibrating optical object tracking using Wii remotes.Society of Photo-Optical Instrumentation Engineers, University of California Santa Cruz, U.S.A.

From a masters research project, an application were developped for 6DOF Manipulation, including 3 wii remotes (meaning the acquisition system is able to detect movements to left/right/up/down/forward/ backward and rotations roll/yaw/pitch).In addition, a communication driver for MacOS was developped as Open source Software.

Link(Lang. : English)

Sources / Binaries

/Video

O.S. : MacOS

Author : Ian Rickard
(2008)

BLIZ

Berliner Labor für Interaktives Zeug

Germany

Here, several projects about augmented reality are exposed :

- Automatic Ambient Road Movie Soundtrack (04/13/2008)

- Projects "InfoTorch" [A](03/30/2008) [B](03/29/2008)

Link (Lang.: German /English)

Authors :

Peter Sinclair, Lauritz Lipp, Thomas Goethe, Katleen Piltz

VRhome


VRhome's website is dedicated to Virtual Reality and XNA Game Development. Here, a combination of Led-based device, 2 Wiimote and a stereo monitor brings more accessibility to Virtual Reality. From Hardware to Software configuration, the website provides a good description with a lot of details and explanations.

See also the video, below :

Link(Lang.: English)

Source/ Binaries

OS : Windows

Author :

Timo Fleisch



[Wiimote Desktop Virtual Reality – YouTube's video from vrwizard - 01/04/2009]

In the same theme, these publications are also available :

Object [Title]

Location

Publication, Master Project Report – [Multisensor Data Fusion Applied to Augmented Reality]

Delft University of Technology, Netherlands

WWW

Document : PDF

Author

(date)

Andres Navarro

(August 2008)

Lang. : English

Abstract

The Master Project MKE thesis deals with the combination of data from several sensors in order to improve Augmented Reality. Then the Wii controller is taken in consideration as a device for hand gesture system.

Extract from abstract :

"In this thesis is covered the design of a multisensor data fusion architecture for providing accurate positioning data and hand gesture interaction to an AR platform , the implementation of the different fusion processes defined in the fusion architecture and the performance of a pilot experiment within the AR platform trying to study the performance of the spatial memory in different conditions. The experiment results showed firstly the correct performance of the AR platform in terms of functionality, usability and presence; and they supported the hypothesis of a better performance of spatial memory when the user is allowed to explore an environment rather than observing it from a static position, although the hypothesis cannot be validated due to the limited number of subjects at the experiment. In addition, several guidelines were given at performing an experiment in an AR environment."

*AR : Augmented Reality

Comment

-




Object [Title]

Location

Publication, Master Project Report – [Affordable Head Tracking]

Department of Computer Science, University of Groningen, Netherlands

WWW

Document : PDF

Author

(date)

J.B. SMIT

(07/04/2008)

Lang. : English

Abstract

The thesis exposes the state-of-art from head tracking techniques and the dedicated use with a wii remote.

Extract from Introduction :

"Inspired by the success of Johnny Lee this system was recreated for the project described in this thesis. A goal was to make virtual reality available for the average person. This can be done with a head tracking system. It can turn the monitor of a normal computer into a display with a correct perspective according to the position of the head. A Wii Remote is affordable for everyone, some people even already have one. The original application was not reusable, the code of Lee had interleaved head tracking and rendering code. Developers wanting to use the same concept have to start all over. The software for this project had to be reusable for others who wanted to do a similar project, so the wheel does not have to be reinvented each time. This was another goal of the project. Finally we wanted to proof that the head tracking system works and is capable of creating a desktop virtual reality system."

Comment

I'm still looking for reusable source code. Please post link as comment if available.




Finally, the last project is an application for virtual jogger. With 2 Nintendo peripherals - Wii Remote and Wii-Fit - the computer acquires data from the jogger and updates a "virtual run" in google street view :

Tokyo Jogging is a mashup project using wiimote and google street view

Author : Roy Katsuma (Oct. 2008)

Source Code and Instructions