Aplanir, percer et autres applications de mesures pour une wii remote

[version française]
Aplanir, percer et autres applications de mesures pour une wii remote

La wii remote demeure un matériel de choix pour nombre de professeurs et de développeurs lorsqu'il s'agit de concevoir toute sorte d'applications à base d'accéléromètre nécessitant d'évaluer l'état d'un moteur/d'un corps (comme pour l'idenfication de la verticale, de conditions de perçage ou de reconnaissance de gestes). Dans un état stabilisé, l'accéléromètre tri-axial permet de remonter à des mesures angulaires par rapport à la gravité. Les états transitoire permettent, eux, la detection de changement de comportement. Enfin, les états maintenus (répétitifs) permettent une identification sous certaines conditions d'acquisition.

1. Mesures d'angles en état stationnaire :
Ici, aucun mouvement n'est appliqué au wii controller. L'information reçue est interprétée comme celle d'un niveau.

Nom/Logo	Description	Comment- aire/Auteur
LevelTool	Wiimote comme niveau La Wii remote est ici utilisée comme un rapporteur d'angle par rapport à la verticale. L'application Leveltool affiche le roulis et le tangage sur un dessin. La simplicité de cette application est évidente mais pourquoi utiliser quelque chose de très compliqué pour réaliser un fil à plomb électronique. [Leveltool]	Lien(Lang. : Anglais) Sources / Binaires S.E. : WinXP Auteur : Alanceil (pseudo) (2008)

2. Détection d'états transitoires :
La détection des changement de comportements d'actionneurs, de rouage et de moteur est souvent utile pour se prémunir des pannes et des pertes d'efficacité :

Nom/Logo	Description	Comment- aire/Auteur
Drilling Lab	Drilling Lab – Une plateforme de capteur et une modélisation à partir d'une grille informatique pour l'analyse vibratoire des forages Université d'Etat de Louisiane, Société des Ingénieurs Pétroliers Cette application établit une compaison de différents modèles de forages de puits (un modèle basé sur l'acquisition à partir de capteur et un modèle géologique simulé) Les erreurs et les pannes de perçage ainsi que les phenomènes de pertes d'efficacité sont identifiés via une plateforme de capteur. Le kit d'application open source Cactus fonctionne par acquisition des données d'accéléromètre ( de la wii remote en l'occurence) via le logiciel d'acquisition Labview . [Drilling Lab]	Lien(Lang. : Anglais) Poster (PDF) S.E. : WinXP Auteurs : Richard Duff, Yaakoub El Khamra (2008)

3. Acquisition des données de la Wiimote - Autres liens remarquables :

Les publications et les applications à base de wiimote sont toujours plus nombreuses. Quelques liens intéressants sont présentés ici :

- Site Web : Analysis Tools from Australian Antartic Data Centre (Trad. : Outils d'analyse du Centre Australien en Antartique - Lang. Anglais)
Le service Australien pour l'Antartique référence une série d'outils utilisant la wii remote avec Matlab. (Merci au passage pour le référence de la bibliothèque fWIIne!)

- Publication : Science in Your pocket de R.F. Wisman et K. Forinash, Université de l'Indiana Souheast, Etats-Unis (Trad. : La Science a portée de main - Lang. Anglais)
De nouveaux accessoires à base d'accéléromètre - comme les téléphones portables ou la wii remote - facilitent les expériences et la diffusion d'outils d'analyse.

- Document : Wiimote Lab an Introduction du programme SKIES de l'Université d'Etat du Colorado, Etats-Unis (Trad.: Un introduction à une utilisation détournée de la wiimote - Lang. Anglais)


- Blog : Posts au sujets d'applications à base d'une wiimote sur nueve años no son nada de Manuel Martin Ortiz, Université Polytechnique de Madrid (Lang. Espagnol)

- Blog : Giimote(Un driver de Wiimote pour concepteur de jeu) de Sam Whited(Lang. Anglais)
Blog à propos de la bib. Giimote incluant un développement d'un wrapper pour Matlab.- Divers : Proposition de stage (ST Microelectronics - Juin 2008) sujet : poursuite basée sur la wiimote (Lang. Italien)

- Divers : Spécification pour proposition de stage (ACTIA MULLER/Université de Valenciennes, France - Janvier 2009 ) sujet : design d'un matériel à bas cout pour diagnostic de parallélisme sur un véhicule.

- Présentation de cours : Informatique ambiante - Chap. 10 Interaction Homme Machine de J.L. Encaranaçao, Graphisch-Interaktive Systeme, Université Technique de Darmstad, Allemagne (Lang. Allemand)
Exemple d'une application de reconnaissance de mouvement pour visionneuse d'image.

Vers la réalitée augmentée avec la wiimote (2)

[Version Française]

Ce post vient à la suite d'un précédent - des mondes virtuels à la vraie vie - à propos de l'utilisation de la wiimote en tant que périphérique 3D. Les applications et publications, présentées ici, se destinent à la C.A.O. et à la Réalité Augmentée.

Nom/Logo	Description	Comment- -aire /Auteur
Inio's Wii Remote Projects	Self-calibrating optical object tracking using Wii remotes. (trad. : calibration automatique de suivi d'objet à l'aide de Wii Remotes) Société des Ingénieurs en Instrumentation Photo-Optique, Université de Californie Santa Cruz, U.S.A. - Issue d'un projet de recherche en mastère, une application impliquant 3 wii remotes permet une manipulation suivant 6 Degrés De Liberté (Ce qui signifie que le système est capable de discerner les mouvement gauche/droite/haut/bas/avant/ arrière ainsi que les rotations de roulis,tangage et lacet). En outre, un driver de communication pour MacOS a été développé pour l'occasion en Logiciel Open Source.	Lien(Lang. : Anglais) Sources / Binaires / Vidéo S.E. : MacOS Auteur : Ian Rickard (2008)
BLIZ	Berliner Labor für Interaktives Zeug (trad. : Laboratoire d'Interaction Berlinois) Allemagne Plusieurs projets liés à la Réalité Augmentée sont, ici, exposés : - musique d'ambiance selon le style de conduite du véhicule (13/04/2008) - Projets "InfoTorch" [A](30/03/2008) [B](29/03/2008)	Lien (Lang.: Allemand /Anglais) Auteurs : Peter Sinclair, Lauritz Lipp, Thomas Goethe, Katleen Piltz
VRhome	Le site VRhome est dédié au développement de jeu sous XNA et à la Réalité Virtuelle. Ici, un système composé de DEL, de 2 Wii Remotes et d'un moniteur à vision stéréoscopique permet à l'utilisateur de se déplacer et de bouger des objets dans un monde virtuel. Le site fourmille d'indications de la conception électronique à la configuration logicielle. La vidéo ci-dessous présente un exemple de manipulation :	Lien(Lang.: Anglais) Source/ Binaires SE : Windows Auteur : Timo Fleisch

[Wiimote Desktop Virtual Reality – Vidéo YouTube de vrwizard - 04/01/2009]

Dans le même domaine, de nouveaux documents sont aussi disponibles :

Objet [Titre] Locali- -sation	Publication, Rapport de Projet de Mastère – [Multisensor Data Fusion Applied to Augmented Reality] (trad. Fusion de données de plusieurs capteurs appliquée à la réalité augmentée) Université de Technologie de Delft, Pays-Bas
WWW	Document : PDF
Auteur (date)	Andres Navarro (Août 2008)	Lang. : Anglais
Résumé	La thèse du rapport de projet de Mastère MKE traite de la combinaison de données de multiples capteurs afin d'améliorer le concept de Réalité Augmentée. Dans ce cadre, la Wiimote est envisagée comme un périphérique rendant compte de la gestuelle des mains de l'utilisateur. Extrait du résumé : "Cette thèse présente une architecture d'un système d'acquisition et d'intégration des données provenant de multiples capteurs. L'objectif étant de fournir avec précision des positions et des interactions de la main de l'utilisateur à une plateforme de Réalité Augmentée. Différents procédés de fusion de données, une architecture logicielle dédiée ainsi qu'une expérimentation de RA efficace ont permis d'étudier l'impact de la mémorisation spatiale des mouvements sous certaines conditions. L'expérimentation a permis de mettre en évidence, dans un premier temps, les performances, l'ergonomie et la représentativité de la plateforme de RA. Puis elle a permis de soutenir en partie l'hypothèse que la mémorisation spatiale est bien meilleure quand l'utilisateur peut à loisir se déplacer dans un environnement et non quand il observe une scène de manière statique. En outre plusieurs lignes diretrices ont été fournies en vue de compléter l'expérience acquise avec une plateforme de RA." *RA : Réalité Augmentée
Commen- -taire	-

Objet [Titre] Locali- -sation	Publication, Rapport de Projet de Mastère – [Affordable Head Tracking] (trad. : Un système de suivi de mouvement de la tête à bas prix) Départment d'Informatique, Université de Groningen, Pays-Bas
WWW	Document : PDF
Auteur (date)	J.B. SMIT (04/07/2008)	Lang. : Anglais
Résumé	La thèse présente l'état de l'art des différentes techniques de suivi de mouvement de tête (ang. head tracking) ainsi qu'une utilisation de la Wii Remote pour cela . Extrait de l'Introduction : "Inspiré des fameuses présentations de Johnny Lee, ce rapport présente une nouvelle version de l'application dédiée à permettre à l'utilisateur lambda d'aborder les mondes virtuels. Ceci a été rendu posible grace à un système de suivi des mouvements de la tête ; ce dernier rendant compte des déplacement sur un écran d'ordinateur standard et permettant de corriger la perspective de la vision suivant la position de l'utilisateur. Le code de M. Lee a été modifié en vue d'améliorer la portabilité et le rendu 3D. En définitive, nous avons voulu démontrer que ce système de suivi de mouvement était fonctionnel et fournissait un système bon marché de représentation de Réalité Virtuelle."
Commen- -taire	Merci de poster le lien vers le code s'il est disponible.

Pour finir, ce dernier projet propose de faire un jogging dans un environnement virtuel :

Tokyo Jogging est un projet transversal (ang :"mashup" project) regroupant l'utilisation des périphériques Wii Remote et Wii-Fit ainsi que de google street view. Les différents capteurs transmettent les positions et mouvements du Joggeur. Ensuite, ces informations sont interprétés comme un déplacement virtuel par l'ordinateur et de nouvelles coordonnées sont envoyées à l'application Internet pour rafraichir l'image et donner la sensation de déplacement.

Auteur : Roy Katsuma (Oct. 2008)

Code Source and Instructions

[Essai de course sur "google street view" comme un jogging sur un jeu de wii fit de katsuma posté sur Vimeo.Octobre 2008)]

Wiimote as input device for virtual reality (2)

[English Version]

This post follows a previous one - From virtual reality to real life - about the use of the wiimote as a 3D input device. Here, new applications and publications were provided and designed for C.A.D. modelling and Augmented Reality.

Name/Logo	Description	Comment/ Author
Inio's Wii Remote Projects	Self-calibrating optical object tracking using Wii remotes.Society of Photo-Optical Instrumentation Engineers, University of California Santa Cruz, U.S.A. From a masters research project, an application were developped for 6DOF Manipulation, including 3 wii remotes (meaning the acquisition system is able to detect movements to left/right/up/down/forward/ backward and rotations roll/yaw/pitch).In addition, a communication driver for MacOS was developped as Open source Software.	Link(Lang. : English) Sources / Binaries /Video O.S. : MacOS Author : Ian Rickard (2008)
BLIZ	Berliner Labor für Interaktives Zeug Germany Here, several projects about augmented reality are exposed : - Automatic Ambient Road Movie Soundtrack (04/13/2008) - Projects "InfoTorch" [A](03/30/2008) [B](03/29/2008)	Link (Lang.: German /English) Authors : Peter Sinclair, Lauritz Lipp, Thomas Goethe, Katleen Piltz
VRhome	VRhome's website is dedicated to Virtual Reality and XNA Game Development. Here, a combination of Led-based device, 2 Wiimote and a stereo monitor brings more accessibility to Virtual Reality. From Hardware to Software configuration, the website provides a good description with a lot of details and explanations. See also the video, below :	Link(Lang.: English) Source/ Binaries OS : Windows Author : Timo Fleisch

[Wiimote Desktop Virtual Reality – YouTube's video from vrwizard - 01/04/2009]

In the same theme, these publications are also available :

Object [Title] Location	Publication, Master Project Report – [Multisensor Data Fusion Applied to Augmented Reality] Delft University of Technology, Netherlands
WWW	Document : PDF
Author (date)	Andres Navarro (August 2008)	Lang. : English
Abstract	The Master Project MKE thesis deals with the combination of data from several sensors in order to improve Augmented Reality. Then the Wii controller is taken in consideration as a device for hand gesture system. Extract from abstract : "In this thesis is covered the design of a multisensor data fusion architecture for providing accurate positioning data and hand gesture interaction to an AR platform , the implementation of the different fusion processes defined in the fusion architecture and the performance of a pilot experiment within the AR platform trying to study the performance of the spatial memory in different conditions. The experiment results showed firstly the correct performance of the AR platform in terms of functionality, usability and presence; and they supported the hypothesis of a better performance of spatial memory when the user is allowed to explore an environment rather than observing it from a static position, although the hypothesis cannot be validated due to the limited number of subjects at the experiment. In addition, several guidelines were given at performing an experiment in an AR environment." *AR : Augmented Reality
Comment	-

Object [Title] Location	Publication, Master Project Report – [Affordable Head Tracking] Department of Computer Science, University of Groningen, Netherlands
WWW	Document : PDF
Author (date)	J.B. SMIT (07/04/2008)	Lang. : English
Abstract	The thesis exposes the state-of-art from head tracking techniques and the dedicated use with a wii remote. Extract from Introduction : "Inspired by the success of Johnny Lee this system was recreated for the project described in this thesis. A goal was to make virtual reality available for the average person. This can be done with a head tracking system. It can turn the monitor of a normal computer into a display with a correct perspective according to the position of the head. A Wii Remote is affordable for everyone, some people even already have one. The original application was not reusable, the code of Lee had interleaved head tracking and rendering code. Developers wanting to use the same concept have to start all over. The software for this project had to be reusable for others who wanted to do a similar project, so the wheel does not have to be reinvented each time. This was another goal of the project. Finally we wanted to proof that the head tracking system works and is capable of creating a desktop virtual reality system."
Comment	I'm still looking for reusable source code. Please post link as comment if available.

Finally, the last project is an application for virtual jogger. With 2 Nintendo peripherals - Wii Remote and Wii-Fit - the computer acquires data from the jogger and updates a "virtual run" in google street view :

Tokyo Jogging is a mashup project using wiimote and google street view

Author : Roy Katsuma (Oct. 2008)

Source Code and Instructions

[Try to run on the google street view like a jogging game of wii fit from katsuma on Vimeo.October 2008)]

fWIIne 0.3 - solution pour exemple spectrogramme et estimation de la distance entre la sensor bar et la wii remote

[version française]
fWIIne v0.3 - une solution au problème rencontré sur l'exemple de spectrogramme et une estimation de la distance entre la sensor bar et la wii remote

Des utilisateurs de fwiine ont déjà relevé des différences de comportement entre la nouvelle (0.3) et les anciennes versions. Malheureusement cela compromet l'utilisation du fichier d'exemple permettant de faire un spectrogramme à partir des acquisitions de l'accéléromètre "fwiine_accel_fft_wiimote.m".
En attendant la prochaine version, ce post vous permettra de contourner le problème. Puis, je reviendrai sur une application nécéssitant le capteur InfraRouge de la wiimote : estimation de la distance entre la wiimote et la sensor bar. Et pour finir vous trouverez une présentation de solutions destinées à résoudre les problèmes à l'installation de fWIIne avec Matlab pour Windows XP.


1. fwiine_accel_fft_wiimote.m - dernière mise à jour ici

La bibliothèque fWIIne a hérité de quelques propriétés inattendues de la bibliothèque wiiuse (et aussi du tutorial).Par exemple, un appui sur le bouton B active et désactive la fonction vibreur. Malheureusement, quelques problèmes sont aussi apparus : les premières valeurs provenant de l'accéléromètre ne sont pas disponibles et la bibliothèque renvoie la valeur "Inf".
Par conséquent le fichier .m ne fonctionne plus. Alors vous disposez ici de la toute dernière version corrigée de ce fichier : "fwiine_accel_fft_wiimote.m".

[Spectrogramme venant d'une expérience avec un caisson de basse fournissant des impulsions de 10Hz - aZ(pulse)=10Hz Ok]

stimuli "10Hz pulse" : fichier .wav


2. Distance entre wiimote et sensor bar (sensor bar sans fil)

Une estimation de la distance wiimote-sensor bar prend en considération la distance entre deux points IR : IR1(x1,y1) and IR2(x2,y2). La relation entre distance d (d=IR1 IR2) et la position z (z = distance entre la wiimote et la sensor bar) peut être comprise comme : d = zf*k/z

[schéma de l'expérience avec une wiimote et une " wireless sensor bar"]

Le résultat suivant a été observé avec plusieurs mesures :

[d=f(z) / 2 types d'enregistrements possibles selon l'acquisition du capteur IR]

Les mesures ci-dessus mettent en relief l'impact de la résolution du capteur IR sur le résultat.
Pour z en dessous de 60cm, la sensor bar peut potentiellement distinguer les LED sur le coté (gauche ou droit) de la sensor bar. Selon les LED sélectionnées et l'orientation de la wii remote, 2 différentes mesures sont éventuellement observables. Par conséquent, un problème de robustesse apparait ici. Pour finir sur le sujet, il est possible de revenir à une valeur de la position z en considérant les valeurs potentielles de d.
Source forum wiimoteproject : distance from sensor bar


3. Dépannage de fWIIne.mexw32 avec MATLAB pour Windows XP
[remerciements à Tzahi Menashe pour sa contribution durant les tests d'installation !]

La survenue d'un problème à l'installation de la bib. MEX peut provenir de multiples raisons :

- Votre version actuelle de Matlab : Il vous est nécessaire de recompiler le programme avec les bibliothèques du logiciel Matlab que vous avez l'intention d'utiliser. (Compatibilité Matlab : > à r2007a 7.1 - fWIIne notice )
- Bib. VS runtime (problème déjà exposé en commentaire, ici. manuel fWIIne)
- Compatibilité du Compilateur : Sous une fenêtre de commande Matlab, les commandes suivantes peuvent aider :
> mex -setup
> mbuild -setup
> rtwintgt -install
Selon les informations retournées, il vous faut ensuite sélectionner le compilateur utilisé pour le programme. fWIIne est généré à partir de Visual Studio Exp. edition donc une sélection du compilateur [visual studio c++] sera compatible. Il sera,certainement, utile d'installer Visual C++ sur votre ordinateur.