Thursday, March 4, 2010

Wiimote and latest Human Computer Interfaces - efficiency and robustness

[English Version]

While Human Computer Interfaces are becoming popular ( multitouch tactile display, 3D vision device,...), several studies underlined their constraints and limitations in term of efficiency.

Did “Minority Report” Get it Wrong? Superiority of the Mouse over 3D Input in a 3D Placement Task (Lang. English)
F. Bérard1, J. Ip2, M. Benovoy2,
D. El-Shimy2, J. R. Blum2, J. R. Cooperstock2
1 University of Grenoble, Europe (France)
2 McGill University, Canada

Obviously, some usual devices will not disappear but the latest 3D peripherals will challenge the well-established ones (such as mouse or keyboard) for innovative applications.

Making Sense of Sensors (Lang. English)
Alex Wright Writer and Information Architect, New-York, USA
(Extract : Researchers are recognizing the potential of position sensors to help them overcome the limitations of traditional user interfaces.)

Here, many wiimote-based applications tackle the problem of robustness and accuracy, too. (in term of IR tracking error, accelerometer bandwidth, etc).



[YouTube's video video from TheTowerBarron]
Finally, the last chapters of this post give an overview of novel usages. Focusing on the use of wiimote as a scientific sensor, some behavioral studies and other hardwares customization will be presented.


1. Accuracy of IR sensor for tracking algorithms

Underlining tracking error around of 2cm for 1 wiimote :
- Dr. Oliver Kreylos' Wiimote Tracking Algorithm and its Limitations (Lang. English)
and Interaction within a VR environment using a wii remote (Lang. English)
P. Vuong, G. Kurillo, R. Bajcsy
University of California Berkeley, USA

Now, reaching accuracy of 2.233mm with 2 wiimotes :
- Stereowiision : stereo vision with wiimotes (Lang. English)
T. Cuypers(1), T. Van den Eede(2), S. Ligot(2), Y. Francken(1), C. Hermans(1), F. Arickx(3), P. Bekaert(1)
(1) Hasselt University - tUL - IBBT
(2)(3)University of Antwerp
Europe (Belgium)


[Stereowiision – youtube's video from uawiist]

An other evaluation :
- WiiRtrack - an evaluation of a low cost head tracking based on the Wiimote (Lang. English)
J. Frohnmayer1, R. Blach2, T. Gleue2, N. Frangakis3 1Merz Akademie, Hochschule für Gestaltung, Stuttgart, Germany 2CC Virtual Environments, Fraunhofer IAO, Stuttgart, Germany 3Institute of Communication and Computer Systems, Athens, Greece


2. Frequency range

- Development of a System for Measurement and Analysis of Tremor Using a Three-axis Accelerometer
N. Mamorita (1), T. Iizuka (2), A. Takeuchi (1), M. Shirataka (1), N. Ikeda (1) (1) Medical Informatics, Graduate School of Medical Sciences, Kitasato University, Kanagawa, Japan; (2) Department of Neurology, School of Medicine, Kitasato University, Kanagawa, Japan
(link 1)(link 2)
Extract from the abstract (file is not freely available - property and courtesy of US National Library of medicine):
"This system using a Wii Remote is capable of analyzing frequency and estimated amplitude of tremor between 3 Hz and 15 Hz. ... The acceleration data is sampled with about 30msec. After the measurement ends, a power spectral density (Fast Fourier transform method) and peak frequencies are presented.The frequency element that can be measured with this system is 15 Hz or less. Since the frequency elementsof tremor are estimated to be 12 Hz or less, the tremor frequency analysis using this system is applicable."


3. What's up in behavior and cognitive studies

- Dynamic Competition and the Cognitive Bottleneck (Lang. English)
K. Snyder-Tapp, R. Dale, Department of Psychology, Memphis, USA
- Predictive Arm Placement in the Statistical Learning of Position Sequences (Lang. English)
N. D. Duran, R. Dale, Department of Psychology, University of Memphis, USA
- Here, the web site is noticeable, too :
Nintendo Wiimote and experimental psychology : Blending cognition and action (Lang. English)
R. Dale, Assistant Professor, University of Memphis

- Development of Estimation System for Concentrate Situation Using Acceleration sensor (Lang. English) P.131-140
M. Okubo, A. Fujimura Doshiba University, Kyoto, Japan


4. Hardware customization

- Instructional manual on building a modified wiimote with an external Button

- Hacking a Wii Remote for Full 3D Absolute Position and Orientation Sensing
(link 1) (link 2)


5. other links to browse :

- The way Wii were: A blogosphere retrospective (Lang. English)

- jOG : podometer (example of new plugin hardwares) (Lang. English)

- Wii Remote Interaction for Industrial Use (student project report) (Lang. English)
M. Nielsen, M. Stenbacka
Mälardalens högskola, Europe (Sweeden)

- intuitive gestural interface for gamers (transl. : Intuitivité et incorporation des interactions gestuelles chez les utilisateurs de jeux vidéo) (Lang. French)
N. Nova, Liftlab, Switzerland
T. Jobert, CEA-LETI – Minatec®, Switzerland

- Wiimote on the physics hour :


[Wiimote as motion detector - YouTube's Video from pkarcsi55]

La Wiimote et les dernières interfaces Homme Machine - Quid des performances ?

[version française]

Tandis que la popularité des interfaces Homme Machine ne se dément pas (système de vision 3D, écran tactile multipoint), plusieurs études mettent en avant leurs performances limitées.

Avantages de la souris sur les différents périphériques 3D de positionnement
(trad. Did “Minority Report” Get it Wrong? Superiority of the Mouse over 3D Input in a 3D Placement Task) (Lang. Anglais)
F. Bérard1, J. Ip2, M. Benovoy2, D. El-Shimy2, J. R. Blum2, J. R. Cooperstock2 1 Université de Grenoble, Europe (France) 2 Université McGill, Canada

Il parait évident que les interfaces traditionnelles ne vont pas être rapidement supplantées par les derniers périphériques 3D.
En revanche, ces périphériques classiques (souris, clavier) risquent d'être bousculés sur les applications innovantes.

En captant l'intérêt des capteurs (trad. Making Sense of Sensors) (Lang. Anglais)
Alex Wright, Ecrivain et Architecte de l'Information, New-York, USA
(extrait : Les chercheurs s'intéressent fortement aux capteurs de positions afin de surmonter les limitations des périphériques utilisateurs usuels.)




[vidéo YouTube de TheTowerBarron]

Concernant la Wiimote, les applications, présentées dans ce post, font le point sur la précision et la robustesse de ce type d'interface (en terme d'erreur de poursuite ou de
plage d'utilisation, etc...)

Pour finir, les derniers chapitres donnent un aperçu de récentes études utilisant la wiimote comme capteur scientifique (études comportementales et customisation du périphérique)


1. Précision du capteur IR pour les algorithmes de suivi

Un article relevant une erreur de suivi de l'order de 2cm avec 1 wiimote :
- Analyse et limitation des algorithmes de poursuites d'O. Kreylos à propos de la wiimote (trad. Dr. Oliver Kreylos' Wiimote Tracking Algorithm and its Limitations) (Lang. Anglais)
et un poster résumant le tout : Interaction dans un environnement virtuel à l'aide d'une wii remote (trad. Interaction within a VR environment using a wii remote) (Lang. Anglais)
P. Vuong, G. Kurillo, R. Bajcsy Université de Californie Berkeley, USA

Un autre étude atteignant une précision de 2.233mm avec 2 wiimotes :
- Stereowiision : vision stereo avec des wiimotes (Lang. Anglais)
T. Cuypers(1), T. Van den Eede(2), S. Ligot(2), Y. Francken(1), C. Hermans(1), F. Arickx(3), P. Bekaert(1) (1) Université Hasselt - tUL - IBBT (2)(3)Université d'Anvers Europe (Belgique)


[Stereowiision – vidéo YouTube de uawiist]

Une autre analyse :
- WiiRtrack - an evaluation of a low cost head tracking based on the Wiimote (trad. WiiRtrack - an evaluation of a low cost head tracking based on the Wiimote) (Lang. Anglais)
J. Frohnmayer1, R. Blach2, T. Gleue2, N. Frangakis3 1Merz Akademie, Hochschule für Gestaltung, Stuttgart, Europe (Allemagne)
2CC Virtual Environments, Fraunhofer IAO, Stuttgart, Europe (Allemagne)
3Institute of Communication and Computer Systems, Athens, Europe (Grèce)



2. Plage de Fréquence

- Développement d'un système de mesure et d'analyse de tremblement à l'aide d'un accéléromètre tri-axial.
N. Mamorita (1), T. Iizuka (2), A. Takeuchi (1), M. Shirataka (1), N. Ikeda (1)
(1) Informatique Medicale, Graduate School of Medical Sciences, Kitasato University, Kanagawa, Japon
(2) Départment de Neurologie, School of Medicine, Kitasato University, Kanagawa, Japon
(link 1) (link 2)
Extrait du résumé (fichier non disponible en libre accès (propriété et mis gracieusement à disposition par la bibliothèque Nationale de Médecine):
"Le système utilise une wiimote afin d'analyser les fréquence et d'estimer l'amplitude des tremblements sur une plage de 3 Hz à 15 Hz... L'accélération issue de la wiimote est échantillonnée à 30ms."


3. Nouvelles études comportementales - psychologie expérimentale

- Goulet d'étranglement cognitif et comportements dynamiques (Lang. Anglais)
K. Snyder-Tapp, R. Dale, Département de Psychologie, Memphis, USA
- Etudes des dispositions du bras lors d'un apprentissage de positions successives (Lang. Anglais)
N. D. Duran, R. Dale Département de Psychologie, Université de Memphis, USA
- Un lien vers le site web :
Nintendo Wiimote et psychologie expérimentale (Lang. Anglais)
R. Dale, Assistant Professeur, Université de Memphis

- Développement d'un système d'annalyse de situation de concentration utilisant un accéléromètre (Lang. Anglais) P.131-140
M. Okubo, A. Fujimura Université Doshiba, Kyoto, Japon

4. Hardware customization

- Manuel d'instruction pour ajouter un bouton externe à une wiimote

- Bricolage d'une Wii Remote pour un positionnement 3D absolut et une détection d'orientation
(link 1)(link 2)


5. Autres liens à voir :

- Une rétrospective du hacking de la wiimote sur la blogosphère (Lang. Anglais)

- jOG : podomètre (exemple de nouveau matériel connectable sur la wii remote) (Lang. Anglais)

- Intéraction d'une Wii Remote pour un Usage Industriel (rapport de projet d'étudiant) (Lang. Anglais)
M. Nielsen, M. Stenbacka Mälardalens högskola, Europe (Suède)

- Intuitivité et incorporation des interactions gestuelles chez les utilisateurs de jeux vidéo (Lang. Français)
Nicolas Nova, Liftlab, Suisse Timothée Jobert, CEA-LETI – Minatec®,Europe(France)

- Wiimote durant la classe de physique :


[Wiimote comme détecteur de mouvement - vidéo YouTube de pkarcsi55]