Monday, October 11, 2010

Robot controlled by a wii remote

[english version]

Here, back to a work on Human-Computer Interfaces with docs and video supports :

High-level programming and control for industrial
robotics: using a hand-held accelerometer-based input
device for gesture and posture recognition
[Article] (Lang. : English)
Pedro Neto(1), J. Norberto Pires(1), A. Paulo Moreira(2)
(1)Mechanical Engineering Department, University of Coimbra, Coimbra, Europe(Portugal)
(2)INESC Porto - Institute for Systems and Computer Engineering of Porto, Porto, Europe(Portugal)

Abstract :
"Most industrial robots are still programmed using the typical teaching process,
through the use of the robot teach pendant. This is a tedious and time-consuming task that
requires some technical expertise, and hence new approaches to robot programming are
required. The paper aims to present a robotic system that allows users to instruct and program
a robot with a high-level of abstraction from the robot language. "(extract from abstract in Emerald)



[Industrial robot controlled by a Wii Remote and speech - Youtube's video from Robotics Time]


Thanks to Pedro Neto for presenting his work.
Do not hesitate to show us your developments at : wiill.iam
You can also join the forum wiimoteproject.

Robot contrôlé à la wii remote

[version francaise]

Retour, ici, sur un travail sur les Interfaces Hommes Machines avec documentation et video à l'appui :

High-level programming and control for industrial
robotics: using a hand-held accelerometer-based input
device for gesture and posture recognition
[Article] (trad. : Programmation haut niveau pour robot industriel : utilisation de la reconnaissance de mouvement à partir d'accéléromètre) (Lang. : Anglais)
Pedro Neto(1), J. Norberto Pires(1), A. Paulo Moreira(2)
(1)Mechanical Engineering Department, University of Coimbra, Coimbra, Europe(Portugal)
(2)INESC Porto - Institute for Systems and Computer Engineering of Porto, Porto, Europe(Portugal)

Résumé :
Le processus d'apprentissage d'un robot industriel requiert une expertise technique certaine. L'objectif, ici, est de présenter un prototype intuitif de programmation d'instruction haut niveau pour un système controle-commande robotisé. A partir de la wiimote, une reconnaissance de mouvement (basée sur des réseaux neuronaux) permet le contrôle du robot.
(extrait du résumé présenté dans Emerald)


[Industrial robot controlled by a Wii Remote and speech - Youtube's video from Robotics Time]


Merci à Pedro Neto pour la présentation de son travail.
Vous aussi, n'hésitez pas à nous faire part de votre travail à l'adresse: wiill.iam
Faites aussi un tour sur le forum wiimoteproject

Thursday, September 23, 2010

A latest compilation of links to the wiimote

[english version]

Here, a last - but not least - compilation of several links, videos and documentations about Wii remote hacks :

1. Physics experiments and teaching with a wiimote

- Iowa State researcher uses Wii Remotes to teach lessons in computer engineering (source : physorg)
Short article from Iowa State University
- Using the Nintendo Wii Remote built-in acceleration sensor for physics experiments in school.
(and on other accel-based experiments : Digitale Videoanalyse von Bewegungen mit „measure Dynamics“)
Acceleration analysis with wireless sensors (lang. Germ)
T. Wilhelm, University of Würzburg Europe (Germany)

- Low-cost accelerometers for physics experiments (2007 - Lang. : Eng.)
M. Vannoni, National Institue of Applied Optics
S. Straulino Department of Physics
University of Firenze, Europe(Italy)

- Neue Medien im Physikunterricht - (2010 - Lang. : German)
J. Kuhn, J. Reisinger Department of Physics
University of Regensburg, Europe(Germany)

- For beginners or teachers : Low-cost accelerometers for physics experiments
(maybe already presented, here)
- For beginners, too : Using the wiimote in introductory physics experiments(2010 - Lang. : Eng.)
F. Rooney and W. Somers, Department of Physics
The College of New Jersey, United States
- An investigation of Empirical Modelling of artefacts and its advantages over traditional modelling for real-world activities - About comparison between theory and reality(Lang. Eng)
Y. Chen, Department of Computer Science,
University of Warwick, Europe (United Kingdom)

- Devices such as the Nintendo Wii Remote , a general overview (Lang. Eng)
C. A. Wingrave, B. Williamson, P. Varcholik, J. Rose, A. Miller, E. Charbonneau, J. Bott, and J. J. LaViola Jr.,
University of Central Florida, United States

- Interfacing the WII remote with a Computer to capture Real-Time - for beginners(Lang. Eng.)
A. Venkatesh & G. Saini

- Sismógrafo casero basado en Wii(website)
- Cómo hacer un sismógrafo con el Wiimote(website)


[Measure difference pitch angle between 2 wiimote - YouTube video from satitpor]

2. Gesture recognition

- High-level programming and control for industrial robotics: using a hand-held accelerometer-based input device for gesture and posture recognition Research Publication (Lang. Eng.)
P. Neto and J. N. Pires, Department of Mechanical Engineering – Polo II, University of Coimbra, Europe(Portugal)
A. P. Moreira, Institute for Systems and Computer Engineering, University of Porto, Europe(Portugal)
- GesText: Accelerometer-Based Gestural Text-Entry Systems(pdf link 2)(Lang. Eng.)
- Human Identification via Gait Recognition Using Accelerometer Gyro Forces (class project - Lang. Eng.)
(link)
M. F. Nowlan, Dept of Computer Science, Yale University, United States

- Breaking the Status Quo: Improving 3D Gesture Recognition with Spatially Convenient Input Devices (Lang. Eng.)
M. Hoffman,P. Varcholik, J. J. LaViola Jr., University of Central Florida, United States

- Motion Capture Data Analysis for Wii Remote (Lang. Eng)
Ng Kwok Ho, Tsoi Chi Hung, Department of Computer Science and Engineering, Chinese University of Hong Kong, China(Hong Kong)

- Gestenerkennung mit der SFA (Lang. German) MoSc Thesis report
(trans. : Gesture recognition from Slow Feature Analysis and based on wireless 3D accelerometers)
K. Hein, Cologne University of Applied Science, Europe(Germany)

A related article : Slow feature analysis
- Device based gesture recognition (Lang. Eng.)
D. Zufferey, Department of Informatics,University of Fribourg, Switzerland



3. Motion tracking

- Finger Tracking Desktop Experience (Lang. Eng.)
S. Blot, MoSc in Computer Science, Oxford Brookes University, Europe(United Kingdom)

- Finger tracking system (Lang. Eng.) (2009) Final Year Project report
R. Tumelty, University of Dublin,Europe(Ireland)

- Low-Cost Relative Orientation Tracking of Hand-Held Joystick (Lang. Eng.)
S. Owen, M. James, S. Eero, D. Nelson, Intuitive Surgical Inc./Washington State University, United States

- Inexpensive headtracking (Lang. Eng.) (2010) Master's thesis
J.Sminonsson, Department of Computer Science, University of Tromso, Norway

- Low-Cost Motion Capturing Using Nintendo Wii Remote Controllers (Lang. Eng.) Project Report (2008)
D. Wang, D. Huang, Department of Electrical and Computer Engineering,University of Toronto, Canada

- Using multiple WiiMote cameras to control a game (Lang. Eng.)
E. Dehling, Human Media Interaction, University of Twente, Europe(Netherlands)

- wiimote with cube kart 2 (link1)(link2)(Lang. Japanese)
The General Education Center of Iwate, Japan

- Using Nintendo Wii Remote Controller for Finger Tracking,Gesture Recognition - good for beginners (Lang. Eng.)
S. Softic, Institute of Information Systems & Computer Media, Graz University of Technology, Europe(Austria)

- Head Tracking with NintendoWiimote to view Terrain Maps (Lang. Eng.) (2008) BoSc project report
M. Ntlangu, Department of Electrical Engineering, University of Cape Town, South Africa

- Gesture Recognition on Few Training Data using Slow Feature Analysis and Parametric Bootstrap (Lang. Eng.)
P. Koch, W. Konen,K. Hein, Cologne University of Applied Science, Europe(Germany)

- Leveraging Proprioception to Make Mobile Phones More Accessible (prototype based on wiimote+wmp)(Lang. Eng.)
F. Chun Yat Li, D. Dearman and K. N. Truong, Department of Computer Science University of Toronto, Canada



[Circular motion analysis with Wiimote controller - YouTube video from pkarcsi55]

4. Virtual Reality

- Dynamic Projection Environments for Immersive Visualization (Lang. Eng.)
T. C. Yapo, Y. Sheng, J. Nasman, A. Dolce, E. Li, B. Cutler
Department of Computer Science, Rensselaer Polytechnic Institute, United States
- The 3D Sketch Slice: Precise 3D Volume Annotations in Virtual Environments
(Lang. Eng.) (2009)
J. Schild, Dept. of Computer Science and Applied Cognitive Science, University of Duisburg-Essen, Europe(Germany)
T. Holtkämper, M. Bogen, Fraunhofer IAIS, Europe(Germany)
- Virtual room scene with the Wii Remote/Motion Plus (Lang. Eng.) (2009)
A.A. Tsapanidou, The Nottingham Trent University, Europe(United Kingdom)
- Towards a Dynamic Framework for Interactivity Charlie Roberts (Lang. Eng.) (Master of Arts report)
C. Roberts, Media Arts and Technology Program, University of California, United States
- 3D wii (maybe already presented, here)


[Dual Wiimote Application - Youtube video from beeteward]


[Bagg3D application envoyé par signupnow. ]

5. Stabilization and IMU applications

- WiiCane (Lang. Eng.) (flyer)
Touch Graphics, Inc., NY, United States

- Towards a Low-Cost Quadrotor Research Platform (link - maybe already presented, here)
- UAV blog (and about Kalman filter with wii nunchuck+wmp)
- Towards a low-cost quadrotor research platform (Naval Postgraduate School Thesis)(Lang. Eng.)
L. K. Burkamshaw, Naval Postgraduate School, United States

- Stabilization Method for a Hip-mounted Projector Using an Inertial Sensor (.)
- Couplage de la modélisation et de l'implémentation de ssystèmes interactifs mixtes (Thesis : University Paul Sabatier/Toulouse, Europe(France))
- Wiimote pour controle de bras robotisé MP-CBU-1AI (Final Report)
- Projection Stabilizing Method for Palm-top Display with Wearable display (.)


6. med. studies

- Towards customizable games for stroke rehabilitation (Lang. english)
G. Alankus, M. May, C. Kelleher, Department of Computer Science and Engineering Washington University in St. Louis
A. Lazar, Department of Electrical and Computer Engineering, University of California, San Diego
United States
- How Multiple Current Users React to a Quiz (Lang. english)
H.-H. Huang, T. Furukawa,H. Ohashi,T. Nishida, Kyoto University,Japan
A. Cerekovic, I. S. Pandzic, University of Zagreb, Croatia
Y. Nakano, Seikei University, Japan
- Breathing as user interface for pulmonary rehabilitation (Lang. english) Master's Thesis in Computer Science (2010)
J. Guirao Aguilar, Department of Computer Science, University of Tromso, Norway
- Wiimote Accessibility Modifications (From Hack a Day)
- Wiimote wireless modification for persons with disabled persons (From Instructables)
- Entwicklung einer prototypischen Lösung zum mobilen Monitoring von Epilepsipatienten
(Lang. German) (2010) (trans. Development of mobile assistive monitoring for epileptic patients)
S. Saboor, Institut fur Informationssysteme des Gesunheitswsens, Europe(Germany)


7. Other

- Integrating Engagement and First Year Problem Solving Using Game Controller Technology (Lang. Eng.)
T. E. Daniels, Iowa State University, United States

- Schlagzeug als Hyperinstrument mit kabellosen Beschleunigungssensoren(Lang. German) Project Report (2009)
F. Krebs,Universitat fur Musik und darstellende Kunst, Europe(Austria)


[WiiArm - Youtube video from MechEngine22]



NB: (.) Sorry for the missing description. Of course, you will find more information in each linked documentation.
---
(2011 feb.) Updates :
NB bis : many references added, now.

* * *

Thursday, March 4, 2010

Wiimote and latest Human Computer Interfaces - efficiency and robustness

[English Version]

While Human Computer Interfaces are becoming popular ( multitouch tactile display, 3D vision device,...), several studies underlined their constraints and limitations in term of efficiency.

Did “Minority Report” Get it Wrong? Superiority of the Mouse over 3D Input in a 3D Placement Task (Lang. English)
F. Bérard1, J. Ip2, M. Benovoy2,
D. El-Shimy2, J. R. Blum2, J. R. Cooperstock2
1 University of Grenoble, Europe (France)
2 McGill University, Canada

Obviously, some usual devices will not disappear but the latest 3D peripherals will challenge the well-established ones (such as mouse or keyboard) for innovative applications.

Making Sense of Sensors (Lang. English)
Alex Wright Writer and Information Architect, New-York, USA
(Extract : Researchers are recognizing the potential of position sensors to help them overcome the limitations of traditional user interfaces.)

Here, many wiimote-based applications tackle the problem of robustness and accuracy, too. (in term of IR tracking error, accelerometer bandwidth, etc).



[YouTube's video video from TheTowerBarron]
Finally, the last chapters of this post give an overview of novel usages. Focusing on the use of wiimote as a scientific sensor, some behavioral studies and other hardwares customization will be presented.


1. Accuracy of IR sensor for tracking algorithms

Underlining tracking error around of 2cm for 1 wiimote :
- Dr. Oliver Kreylos' Wiimote Tracking Algorithm and its Limitations (Lang. English)
and Interaction within a VR environment using a wii remote (Lang. English)
P. Vuong, G. Kurillo, R. Bajcsy
University of California Berkeley, USA

Now, reaching accuracy of 2.233mm with 2 wiimotes :
- Stereowiision : stereo vision with wiimotes (Lang. English)
T. Cuypers(1), T. Van den Eede(2), S. Ligot(2), Y. Francken(1), C. Hermans(1), F. Arickx(3), P. Bekaert(1)
(1) Hasselt University - tUL - IBBT
(2)(3)University of Antwerp
Europe (Belgium)


[Stereowiision – youtube's video from uawiist]

An other evaluation :
- WiiRtrack - an evaluation of a low cost head tracking based on the Wiimote (Lang. English)
J. Frohnmayer1, R. Blach2, T. Gleue2, N. Frangakis3 1Merz Akademie, Hochschule für Gestaltung, Stuttgart, Germany 2CC Virtual Environments, Fraunhofer IAO, Stuttgart, Germany 3Institute of Communication and Computer Systems, Athens, Greece


2. Frequency range

- Development of a System for Measurement and Analysis of Tremor Using a Three-axis Accelerometer
N. Mamorita (1), T. Iizuka (2), A. Takeuchi (1), M. Shirataka (1), N. Ikeda (1) (1) Medical Informatics, Graduate School of Medical Sciences, Kitasato University, Kanagawa, Japan; (2) Department of Neurology, School of Medicine, Kitasato University, Kanagawa, Japan
(link 1)(link 2)
Extract from the abstract (file is not freely available - property and courtesy of US National Library of medicine):
"This system using a Wii Remote is capable of analyzing frequency and estimated amplitude of tremor between 3 Hz and 15 Hz. ... The acceleration data is sampled with about 30msec. After the measurement ends, a power spectral density (Fast Fourier transform method) and peak frequencies are presented.The frequency element that can be measured with this system is 15 Hz or less. Since the frequency elementsof tremor are estimated to be 12 Hz or less, the tremor frequency analysis using this system is applicable."


3. What's up in behavior and cognitive studies

- Dynamic Competition and the Cognitive Bottleneck (Lang. English)
K. Snyder-Tapp, R. Dale, Department of Psychology, Memphis, USA
- Predictive Arm Placement in the Statistical Learning of Position Sequences (Lang. English)
N. D. Duran, R. Dale, Department of Psychology, University of Memphis, USA
- Here, the web site is noticeable, too :
Nintendo Wiimote and experimental psychology : Blending cognition and action (Lang. English)
R. Dale, Assistant Professor, University of Memphis

- Development of Estimation System for Concentrate Situation Using Acceleration sensor (Lang. English) P.131-140
M. Okubo, A. Fujimura Doshiba University, Kyoto, Japan


4. Hardware customization

- Instructional manual on building a modified wiimote with an external Button

- Hacking a Wii Remote for Full 3D Absolute Position and Orientation Sensing
(link 1) (link 2)


5. other links to browse :

- The way Wii were: A blogosphere retrospective (Lang. English)

- jOG : podometer (example of new plugin hardwares) (Lang. English)

- Wii Remote Interaction for Industrial Use (student project report) (Lang. English)
M. Nielsen, M. Stenbacka
Mälardalens högskola, Europe (Sweeden)

- intuitive gestural interface for gamers (transl. : Intuitivité et incorporation des interactions gestuelles chez les utilisateurs de jeux vidéo) (Lang. French)
N. Nova, Liftlab, Switzerland
T. Jobert, CEA-LETI – Minatec®, Switzerland

- Wiimote on the physics hour :


[Wiimote as motion detector - YouTube's Video from pkarcsi55]

La Wiimote et les dernières interfaces Homme Machine - Quid des performances ?

[version française]

Tandis que la popularité des interfaces Homme Machine ne se dément pas (système de vision 3D, écran tactile multipoint), plusieurs études mettent en avant leurs performances limitées.

Avantages de la souris sur les différents périphériques 3D de positionnement
(trad. Did “Minority Report” Get it Wrong? Superiority of the Mouse over 3D Input in a 3D Placement Task) (Lang. Anglais)
F. Bérard1, J. Ip2, M. Benovoy2, D. El-Shimy2, J. R. Blum2, J. R. Cooperstock2 1 Université de Grenoble, Europe (France) 2 Université McGill, Canada

Il parait évident que les interfaces traditionnelles ne vont pas être rapidement supplantées par les derniers périphériques 3D.
En revanche, ces périphériques classiques (souris, clavier) risquent d'être bousculés sur les applications innovantes.

En captant l'intérêt des capteurs (trad. Making Sense of Sensors) (Lang. Anglais)
Alex Wright, Ecrivain et Architecte de l'Information, New-York, USA
(extrait : Les chercheurs s'intéressent fortement aux capteurs de positions afin de surmonter les limitations des périphériques utilisateurs usuels.)




[vidéo YouTube de TheTowerBarron]

Concernant la Wiimote, les applications, présentées dans ce post, font le point sur la précision et la robustesse de ce type d'interface (en terme d'erreur de poursuite ou de
plage d'utilisation, etc...)

Pour finir, les derniers chapitres donnent un aperçu de récentes études utilisant la wiimote comme capteur scientifique (études comportementales et customisation du périphérique)


1. Précision du capteur IR pour les algorithmes de suivi

Un article relevant une erreur de suivi de l'order de 2cm avec 1 wiimote :
- Analyse et limitation des algorithmes de poursuites d'O. Kreylos à propos de la wiimote (trad. Dr. Oliver Kreylos' Wiimote Tracking Algorithm and its Limitations) (Lang. Anglais)
et un poster résumant le tout : Interaction dans un environnement virtuel à l'aide d'une wii remote (trad. Interaction within a VR environment using a wii remote) (Lang. Anglais)
P. Vuong, G. Kurillo, R. Bajcsy Université de Californie Berkeley, USA

Un autre étude atteignant une précision de 2.233mm avec 2 wiimotes :
- Stereowiision : vision stereo avec des wiimotes (Lang. Anglais)
T. Cuypers(1), T. Van den Eede(2), S. Ligot(2), Y. Francken(1), C. Hermans(1), F. Arickx(3), P. Bekaert(1) (1) Université Hasselt - tUL - IBBT (2)(3)Université d'Anvers Europe (Belgique)


[Stereowiision – vidéo YouTube de uawiist]

Une autre analyse :
- WiiRtrack - an evaluation of a low cost head tracking based on the Wiimote (trad. WiiRtrack - an evaluation of a low cost head tracking based on the Wiimote) (Lang. Anglais)
J. Frohnmayer1, R. Blach2, T. Gleue2, N. Frangakis3 1Merz Akademie, Hochschule für Gestaltung, Stuttgart, Europe (Allemagne)
2CC Virtual Environments, Fraunhofer IAO, Stuttgart, Europe (Allemagne)
3Institute of Communication and Computer Systems, Athens, Europe (Grèce)



2. Plage de Fréquence

- Développement d'un système de mesure et d'analyse de tremblement à l'aide d'un accéléromètre tri-axial.
N. Mamorita (1), T. Iizuka (2), A. Takeuchi (1), M. Shirataka (1), N. Ikeda (1)
(1) Informatique Medicale, Graduate School of Medical Sciences, Kitasato University, Kanagawa, Japon
(2) Départment de Neurologie, School of Medicine, Kitasato University, Kanagawa, Japon
(link 1) (link 2)
Extrait du résumé (fichier non disponible en libre accès (propriété et mis gracieusement à disposition par la bibliothèque Nationale de Médecine):
"Le système utilise une wiimote afin d'analyser les fréquence et d'estimer l'amplitude des tremblements sur une plage de 3 Hz à 15 Hz... L'accélération issue de la wiimote est échantillonnée à 30ms."


3. Nouvelles études comportementales - psychologie expérimentale

- Goulet d'étranglement cognitif et comportements dynamiques (Lang. Anglais)
K. Snyder-Tapp, R. Dale, Département de Psychologie, Memphis, USA
- Etudes des dispositions du bras lors d'un apprentissage de positions successives (Lang. Anglais)
N. D. Duran, R. Dale Département de Psychologie, Université de Memphis, USA
- Un lien vers le site web :
Nintendo Wiimote et psychologie expérimentale (Lang. Anglais)
R. Dale, Assistant Professeur, Université de Memphis

- Développement d'un système d'annalyse de situation de concentration utilisant un accéléromètre (Lang. Anglais) P.131-140
M. Okubo, A. Fujimura Université Doshiba, Kyoto, Japon

4. Hardware customization

- Manuel d'instruction pour ajouter un bouton externe à une wiimote

- Bricolage d'une Wii Remote pour un positionnement 3D absolut et une détection d'orientation
(link 1)(link 2)


5. Autres liens à voir :

- Une rétrospective du hacking de la wiimote sur la blogosphère (Lang. Anglais)

- jOG : podomètre (exemple de nouveau matériel connectable sur la wii remote) (Lang. Anglais)

- Intéraction d'une Wii Remote pour un Usage Industriel (rapport de projet d'étudiant) (Lang. Anglais)
M. Nielsen, M. Stenbacka Mälardalens högskola, Europe (Suède)

- Intuitivité et incorporation des interactions gestuelles chez les utilisateurs de jeux vidéo (Lang. Français)
Nicolas Nova, Liftlab, Suisse Timothée Jobert, CEA-LETI – Minatec®,Europe(France)

- Wiimote durant la classe de physique :


[Wiimote comme détecteur de mouvement - vidéo YouTube de pkarcsi55]

Tuesday, January 26, 2010

Wiimote in term of Human-Computer Interface

[English Version]

Researchs in Motion Tracking, Gesture Recognition, Text Entry and Immersive environments cover the field of Human-Computer Interface. After several posts(1 , 2 , 3), the following new developments use and improve, again, the wiimote for a 3-dimensionnal interaction between the user and the computer.

[Smart Sensor Integration - an example as Human-Computer Interface with a wiimote]
[ (See section "5.Gesture and emotion recognition") ]


1. Introducing the wiimote in term of HCI

- Gaming and beyond with the Wiimote - Applications of the Nintendo Wiimote in terms of Human Computer Interaction (Lang. English)
S. Kahl - Term Paper
Cognitive human-computer interaction Seminar 2009
(Introducing J. Lee's Wiimote applications for beginners)


2. Interface for Text Entry

- Wegliss - Virtual Keyboard with a wiimote : a new HCI (trans. : clavier virtuel à partir d'une wiimote : nouvelle interface homme-machine) (Lang. : French)
J. Bier, I. Pecci,
LITA - Université Paul Verlaine-Metz, Europe (France)

- S. J. Castellucci's Personal web site about research in text entry methods and evaluation(Lang. : English)
S.J. Castellucci, Department of computer science, York University, Canada
And from the same author and his team :
An Empirical Comparison of "Wiimote" Gun Attachments for Pointing Tasks
V. McArthur, S.J. Castellucci, and I. S. MacKenzie


2. Interaction in immersive environments

- virtual interactive display

[Virtual Interactive Displays with the Wiimote - YouTube's video from timmtub3]

- Middleware Mechanisms for Interaction Interoperability in Collaborative Virtual Environments (Lang. : English)
( paper )( slides )( web site )
M. Ciampi, L. Gallo, A. Coronato, and G. De Pietro ICAR-CNR University of Naples, Europe(Italy)

- Interacting with Stroke-Based Rendering on a Wall Display(Lang. : English)
J. Grubert,1 M. Hancock,1 S. Carpendale,1 E. Tse,1 T. Isenberg1,2 1University of Calgary Canada, 2University of Groningen Europe(Netherlands)

- Collaborative work in immersive environments 1
[inria-00433853, v1] Collaborative Exploration of 3D Scientific Data
T. Duval / IRISA – Université de Rennes 1 C. Fleury / IRISA – INSA de Rennes B. Nouailhas / EDF R&D Clamart L. Aguerreche / IRISA – INSA de Rennes Europe (France)

- Collaborative work in immersive environments 2
( Trans. : Evaluation de Métaphores d'Interaction Pour Le Travail Collaboratif Entre Sites Distants D'Immersion Virtuelle (Lang. French)
H. Hrimech Computer Science Thesis, École Nationale Supérieure d'Arts et Métiers, Europe (France)

-Virtual shelves: interactions with orientation aware devices

- NearTouch: A contactless usage for mobile communication (Lang. : English)
(Trans. NearTouch : Une interaction sans contact avec un terminal mobile)
H. Guan, J. E. Viallet Orange Labs France Télécom, Europe(France)

- Office environment demonstrator :
Rapid Prototyping of an AmI-Augmented Office Environment Demonstrator
(Lang. : English)
D. Grammenos1, Y. Georgalis1, N. Partarakis1, X. Zabulis1, T. Sarmis1, S. Kartakis1, P. Tourlakis1, A. Argyros1,2, and C. Stephanidis1,2 1 Institute of Computer Science, Foundation for Research and Technology - Hellas 2 Computer Science Department, University of Crete Europe (Greece)


3.motion and body tracking (...again)

J. Lee's applications inspired a lot of new works :

- Head Tracking for OpenGL Applications (Lang. : English)
(location 1) (old location 2)
B.Sc. project Report Frank Evers – (personal web site)

- Supporting Remote Manipulation: An Ecological Approach (Lang. : English)
J. A. Atherton Master of Science Project Department of Computer Science Brigham Young University, USA

- Practical Infrared Object Tracking with Wii Remotes (poster presentation) (Lang. : English)
Sage Browning, Phillip Weber, Jürgen Schulze California Institute for Telecommunications and Information Technology University of California San Diego, USA

- User Interfaces based on a hand-held projection screen (Lang. : English)
Kristian Bergmann Diplomarbeit - Technische Universität Berlin, Europe (Germany)

- WiiMoCap: a low-cost motion capture system using the Nintendo Wiimote (poster) (Lang.: English)
Narayanan Krishnamurthy1,2, Daniel Bacher1, Joseph F. McFerron3, Aaron P. Batista1,2 1Department of Bioengineering, University of Pittsburgh, Pittsburgh, PA; 2 Center for the Neural Basis of Cognition, Pittsburgh, PA; 3 Crossroads Consulting LLC, Johnstown, PA; USA

- Gestaction3D: a generic tool for visual interaction (trans. : vers un outil générique d'interactions gestuelles) (Lang. French)
S. Meunier – Final Project Report - University Polytech'Nice – Europe (France)

- Experiment with the Wiimote-reading movement (Lang. : English)
Andrea Rodriguez – Personal web site University of Southern California's School of Cinematic Arts, USA

- AAL SAFE Signal Processing Algorithm (Lang. English)
Ricardo Jorge Pina Amaro Master of Biomedical Engineering Coimbra, September 2009 Faculdade de Ciências e Tecnologia da Universidade de Coimbra Departamento de Física, Europe (Portugal)


4. Wiimote and sound

- Pinocchio: Conducting a Virtual Symphony Orchestra (Lang. : English)
Bernd Bruegge, Christoph Teschner, Peter Lachenmaier, Eva Fenzl, Dominik Schmidt, Simon Bierbaum Chair for Applied Software Engineering TU München, Europe(Germany)

- Design And Development of An Interactive Sonification Interface For Hearing Images (Lang. : English)
Charles O’Neill and Kia Ng ICSRiM – University of Leeds School of Music & School of Computing, Europe (UK)


5. Gesture and emotion recognition

- Hawk: 3D Gestured-Based Interactive Bird Flight Simulation (Lang. : English)
Dartmouth Computer Science Technical Report TR2009-647 Thomas Yale Eastman

- Wii Want to Write: An Accelerometer Based Gesture Recognition System (Lang. : English)
T. S. Leong, J. Lai, J. Panza, P. Pong, J. Hong
Carnegie Mellon University, USA

- MythMote: Alternative Remote Controllers for Television (Lang. : English)
A. Ramirez Del Villar, M. Kesavan, S. Talapatra, Y. Mundada Georgia Institute of Technology,Atlanta, USA

- Analyzing conductors gestures with the wiimote (Lang. : English)
D. Bradshaw & K. Ng ICSRiM - University of Leeds,School of Computing & School of Music, Europe(U.K.)

- Wiimote Gesture Recognition (Lang. : English)
J. Mlích Doctoral Degree Programme, DCGM, FIT BUT Europe(Germany)

- Gestural Communication With Accelerometer-Based Input Devices And Tactile Displays (Lang. : English)
P. D. Varcholik, Institute for Simulation and Training, University of Central Florida J. L. Merlo, Ph.D., US Military Academy West Point USA

- UbiGesture: Customizing and Profiling Hand Gestures in Ubiquitous Environment (Lang. : English)
A. Atia, S. Takahashi, K. Misue, and J. Tanaka Graduate School of Systems and Information Engineering, Department of Computer Science, University of Tsukuba, Japan

- Human-Humanoid Walking Gait Recognition (Lang. : English)
V. V. Hafner, F. Bachmann Humboldt-Universit¨at zu Berlin, Institut fur Informatik, Berlin, Europe(Germany)

- Wii Ergometer (Lang. : German )
WiiErgometerTherapeutisches Fahrradfahren Hendrik Bergunde, Thomas Rakow, Sven Schindler Postdam University, Europe(Germany)

- Smart Sensor Integration (SSI) "Smart Sensor Integration: A Framework for Multimodal Emotion Recognition in Real-Time" (Lang. : English)
J. Wagner, E. Andre, F. Jung Multimedia Concepts and Applications, University of Augsburg, Europe(Germany)


6. piloting with a wiimote and other links to browse :

- Radiology examination with a wii remote (Lang. : English) (a video has already been seen in a previous post)
( PDF Page 4 )( Article )( Software to download )
Lu Zheng Michael Brown, Department of Computer Science National University of Singapore, Singapore

- Orchestra and Comau Robotics – Piloting robot with a wii remote

- LEGO Mindstorms Wii – Controlled Robot (Lang. English)
Design & Innovation Project Nanyang Technological University, Singapore M. A. Chengappa, A. Goyal, S. B. Saaban, S. S. Pal, S. Singh

- Interactive PTZ Camera Control System Using Wii Remote and Infrared Sensor Bar
A. H. W. Goh, Y. S. Yong, C. H. Chan, S. J. Then, L. P. Chu, S. W. Chau, and H. W. Hon Multimedia University, Malaysia

- Other blogs and links to browse about wiimote :
a. marvelous night for a moon dance (Lang. : Spanish)
b. bookmark site (Lang. : English)
c. Glide Labs - Diary containing details of a final year project - Wiimote-based project (Lang. : English)
d. Wiimote head tracking in processing (Lang. : English)

--

Thursday, January 21, 2010

La Wiimote, une Interface Homme-Machine aux applications multiples

[Version Française]

Les travaux de recherche sur les interfaces Homme-Machine englobent les domaines de la reconnaissance de mouvement, de l'écriture de texte et de capture de mouvement.
A nouveau (et après plusieurs posts précédents (1 , 2 , 3), les développements présentés, ci-dessous, illustrent l'interaction en 3 dimensions entre l'utilisateur et l'ordinateur via la wiimote


[Smart Sensor Integration - un exemple d'Interface Homme-Machine avec une wiimote]
[ (voir chap. "5. Reconnaissance des émotions et des mouvements") ]


1. En guise d'introduction

Une introduction très générale sur les applications basées sur la wiimote de J. Lee
- Jouer et plus avec la wiimote - Interaction Homme-Machine (Trad. : Gaming and beyond with the Wiimote - Applications of the Nintendo Wiimote in terms of Human Computer Interaction) (Lang. Anglais)
S. Kahl - Support
Séminaire 2009 "Cognitive human-computer interaction"

2. Entrée Textuelle

- Clavier virtuel à partir d'une wiimote : nouvelle interface homme-machine) (Lang. : Français)
J. Bier, I. Pecci,
LITA - Université Paul Verlaine-Metz, Europe (France)

- S. J. Castellucci - site web personnel sur les recherches en entrée textuelle(Lang. : Anglais)
S.J. Castellucci, Département d'Informatique, Université d'York, Canada
et de la même équipe :
Une première étude comparative sur l'utilisation de wiimote comme outil de pointage (trad. : An Empirical Comparison of "Wiimote" Gun Attachments for Pointing Tasks
V. McArthur, S.J. Castellucci, and I. S. MacKenzie


2. Interaction dans environnement immersif

- Ecran Virtuel Interactif

[Ecran Virtuel Interactif basé sur l'utilisation d'un Wiimote - Vidéo YouTube de timmtub3]

- Interopérabilité dans des environnements virtuels collaboratifs (Lang. : Anglais)
( papier )( présentation )( site web )
M. Ciampi, L. Gallo, A. Coronato, and G. De Pietro ICAR-CNR Université de Naples, Europe(Italie)

- Interaction sur mur d'écran basée sur les mouvements(Lang. : Anglais)
J. Grubert,1 M. Hancock,1 S. Carpendale,1 E. Tse,1 T. Isenberg1,2 1Université de Calgary Canada, 2Université de Groningen Europe(Pays Bas)

- Travail collaboratif en environnement immersif 1
[inria-00433853, v1] Travail collaboratif sur des données scientifiques en 3D
T. Duval / IRISA – Université de Rennes 1 C. Fleury / IRISA – INSA de Rennes B. Nouailhas / EDF R&D Clamart L. Aguerreche / IRISA – INSA de Rennes Europe (France)

- Travail collaboratif en environnement immersif 2
valuation de Métaphores d'Interaction Pour Le Travail Collaboratif Entre Sites Distants D'Immersion Virtuelle (Lang. Français)
H. Hrimech, Thèse d'Informatique, École Nationale Supérieure d'Arts et Métiers, Europe (France)

-Virtual shelves: interactions avec des dispositifs d'orientation (Lang. Anglais)

- NearTouch : Une interaction sans contact avec un terminal mobile (Lang. : Français)
H. Guan, J. E. Viallet Orange Labs France Télécom, Europe(France)

- Office environment demonstrator :
Prototypage rapide d'un environnement de travail virtuel
(Lang. : Anglais)
D. Grammenos1, Y. Georgalis1, N. Partarakis1, X. Zabulis1, T. Sarmis1, S. Kartakis1, P. Tourlakis1, A. Argyros1,2, and C. Stephanidis1,2 1 Institut d'Informatique, Fondation pour la Recherche - Hellas 2 Département d'Informatique, Université de Crete Europe (Grèce)


3.Capture de mouvement (...à nouveau)

Les applications de J. Lee ont encore inspiré de multiples travaux :

- Capture de mouvement de tête pour applications en OpenGL (Lang. : Anglais)
(localisation 1) (ancienne localisation 2)
Rapport de Projet de License, Frank Evers – (Site Web Personel)

- Manipuler à distance : une approche écologique (Lang. : Anglais)
J. A. Atherton Projet de Mastère de Science - Département d'Informatique de l'université Brigham Young, USA

- Suivi d'objet infrarouge avec des wii remotes (poster) (Lang. : Anglais)
S. Browning, P. Weber, J. Schulze Institut Californien des Telecommunications et des Technologies de l'Information Université de Californie San Diego, USA

- Interfaces utilisateurs basée des projecteurs portables (Lang. : Anglais)
K. Bergmann - Rapport de Projet de fin d'étude - Université Technique de Berlin, Europe (Allemagne)

- WiiMoCap: un système de capture de mouvement bon marché (poster) (Lang.: Anglais)
N. Krishnamurthy1,2, D. Bacher1, J. F. McFerron3, A. P. Batista1,2 1Département de Bioengénierie, Université de Pittsburgh, Pittsburgh, PA; 2 Center for the Neural Basis of Cognition, Pittsburgh, PA; 3 Crossroads Consulting LLC, Johnstown, PA; USA

- Gestaction3D: vers un outil générique d'interactions gestuelles (Lang. Français)
S. Meunier – Rapport de Projet de Fin d'Etude - Université Polytech'Nice – Europe (France)

- Experimentation avec acquisition de mouvement via la wiimote (Lang. : Anglais)
A. Rodriguez – Site web personnel Université Southern California's School of Cinematic Arts, USA

- AAL SAFE Algorithme de traitement du signal (Lang. Anglais)
R. J. Pina Amaro - Mastère d'Ingénierie Biomédicale, Septembre 2009
Département de Physique de l'Université des sciences et techniques de Coimbra, Europe (Portugal)


4. La Wiimote et le son

- Pinocchio: Piloter virtuellement un orchestre symphonique (Lang. : Anglais)
B. Bruegge, C. Teschner, P. Lachenmaier, E. Fenzl, D. Schmidt, S. Bierbaum
Chaire d'Informatique Appliquée, Université Technique de Munich,
Europe(Allemagne)

- Design et développement d'une interface sonorisée pour diffusion d'image sur support sonore (Lang. : Anglais)
C. O’Neill and K. Ng
ICSRiM – Université de Leeds, Ecole de Musique et d'Informatique,
Europe (Royaume-Uni)


5. Reconnaissance des émotions et des mouvements

- Hawk: Simulation de vol d'oiseau basée sur une interaction gestuelle en trois dimensions (Lang. : Anglais)
Rapport Technique "Dartmouth Computer Science" TR2009-647 - T. Y. Eastman

- Wii Want to Write: Reconnaissance de mouvement basée sur un système comportant des accéléromètres (Lang. : Anglais)
T. S. Leong, J. Lai, J. Panza, P. Pong, J. Hong
Université Carnegie Mellon University, USA

- MythMote: Télécommandes alternative pour la télévision (Lang. : Anglais)
A. Ramirez Del Villar, M. Kesavan, S. Talapatra, Y. Mundada - Institut de Technologie de Georgie,Atlanta, USA

- Analyse des mouvements de conducteurs à l'aide de la wiimote (Lang. : Anglais)
D. Bradshaw & K. Ng ICSRiM - Université de Leeds,Ecole d'Informatique et de Musique,
Europe(Royaume-Uni)

- Reconnaissance de geste basée sur la wiimote (Lang. : Anglais)
J. Mlích - Rapport de DEA, DCGM, FIT BUT - Europe(Allemagne)

- Interaction Gestuelle à base d'accéléromètre et d'écran tactile (Lang. : Anglais)
P. D. Varcholik, Institut de formation et de simulation, Université Centrale de Floride
J. L. Merlo, Ph.D., Acadmie Militaire de West Point - USA

- UbiGesture: Interaction Gestuelle dans un environnement immersif (trad. : UbiGesture: Customizing and Profiling Hand Gestures in Ubiquitous Environment) (Lang. : Anglais)
A. Atia, S. Takahashi, K. Misue, and J. Tanaka - Ecole Supérieure des Systèmes et d'Ingénierie Informatique, Département d'Informatique, Université de Tsukuba, Japon

- Reconnaissance des différents états de marche à pied pour des applications robotiques (Lang. : Anglais)
V. V. Hafner, F. Bachmann Humboldt-Université Humboldt de Berlin, Institut d'Informatique, Berlin, Europe(Allemagne)

- Wii Ergometer (Lang. : Allemand )
Vélo d'appartement thérapeutique - H. Bergunde, T. Rakow, S. Schindler
Université de Postdam, Europe(Allemagne)


- Smart Sensor Integration (SSI) "Intégration de Capteurs Intelligents: reconnaissance d'émotion en temps réel" (Lang. : Anglais)
J. Wagner, E. Andre, F. Jung - Concepts et Applications Multimédia, Université d'Augsburg,
Europe(Allemagne)


6. Contrôle externe à l'aide d'une wiimote et d'autres liens encore :

- Examen radiologique avec une wiimote (Lang. : English) (Vidéo ayant été présenté dans un post précédent)
( PDF Page 4 )( Article )( Logiciel )
L. Zheng M. Brown, Département d'informatique de l'Université d'Etat de Singapour, Singapour

- Orchestra and Comau Robotics – Pilotage de robot à l'aide d'une wii remote

- Robot LEGO Mindstorms piloté à la wiimote (Lang. Anglais)
Projet de Design et Innovation - Université Technique Nanyang, Singapour
M. A. Chengappa, A. Goyal, S. B. Saaban, S. S. Pal, S. Singh

- Caméra motorisée (PTZ) interactive controlée à la Wii Remote (Lang. : Anglais)
A. H. W. Goh, Y. S. Yong, C. H. Chan, S. J. Then, L. P. Chu, S. W. Chau, and H. W. Hon Université Multimedia, Malaisie

- Autre blogs et liens liés à la wiimote :
a. marvelous night for a moon dance (Lang. : Espagnol)
b. site bookmark (Lang. : Anglais)
c. Glide Labs - journal de bord d'un projet de fin d'étude basé sur la wiimote (Lang. : Anglais)
d. suivi de mouvement à la wiimote sous Processing (Lang. : Anglais)

--

Wednesday, January 20, 2010

Wiimote – a measuring instrument for scientific purposes

[English version]

The wiimote has never left the field of scientific experimentation. Either as a measuring instrument or for learning purposes, it remains an inexpensive and smart gadget for teachers and researchers :

1. A measuring instrument

- Hacked Wiimote Makes Super Scientific Sensor (Lang. : English)
S. Weijs, R. Hut, Delft University of Technology, Europe (Netherlands)

[wiimote as an hydrological sensor - demonstration - source Wired]

And from the same author :
Cheap weather gadgets (Lang. English)
(Site) (PDF Page 4)
Abstract : "Researchers at the department of water management (faculty of Civil Engineering and Geosciences) want to cover Africa with inexpensive weather stations made out of electronic gadgets, such as the Wii."
source T. VAN DIJK

- Input Estimation for Teleoperation (Using minimum jerk human motion models to improve telerobotic performance)
Doctoral Thesis, C. Smith, Europe (Sweden) 2009

- Wiihabilitation: Rehabilitation of Wrist Flexion and Extension Using a Wiimote-Based Game System (Lang. : English)
J. Decker, H. Li, D. Losowyj, V. Prakash Rutgers University, USA


2. Teaching with wiimotes (...yet.another.post)

Yet, some links could be useful to learn more about teaching with wiimotes :

- Academical and Research Wiimote Applications (Lang. : Spanish)
J.A. Vicaria, J.M. Maestre, E.F. Camacho Departamento de Ingeniería de Sistemas y Automática Universidad de Sevilla, Europe (Spain)

- Using the Wii Remote to Teach Introductory Physics (Lang. : English)
L. Horner, T. Duncan, H. Lynch, A. Martin, S. Miller Southern Illinois University Edwardsville, USA

- Intuitive E-Teaching by Using Combined HCI Devices: Experiences with Wiimote Applications (Lang. : English)
Andreas Holzinger1, Selver Softic2, Christian Stickel2, Martin Ebner2, Matjaz Debevc3 1Medical University Graz, A-8036 Graz, Europe (Austria) Institute for Medical Informatics, Statistics & Documentation (IMI) Research Unit HCI4MED 2Graz University of Technology, A-8010 Graz, Institute for Information Systems and Computer Media (IICM) 3University of Maribor, Faculty of Computer Science

- TD n° 3 Interaction – Wiimote (Lang. : French)
Exercise courses from Polytech'Nice University of Nice – Europe (France)

3. Back to mathematics and some technical features for wiimote experiments:

- Back on an experiment :
a. Algebra and wii remote (Lang. English)
b. Quartic Equations Applied to 6-DOF Wiimote Tracking (Lang. : English)
Both from Michael Q. Rieck, Ph. D. Mathematics and Comp. Sci. Dept. Drake University, USA

- Acceleration calibration for wiimote (Lang.: Italian)
C. Scozzafava – Personal Web site

- Interfejsy multimodalne. Mini projekt WiiTut (Lang. Polish)
Mini-project about multimodal interfaces, comparative Analysis about several wiimote's libraries.
L. Kopec, P. Krzepowski, A.G.H. – Europe (Poland)

- Feasibility study about multimodal interfaces from Wiimote (trans. Estudio de las posibilidades de un Wiimote como interfaz de control) ( Lang. : Catalan)
Miguel Ángel Granado Navarro
Final Project, Escola Politecnica Superior de Castelldefels, Europe (Spain)

Wiimote – Un instrument de mesure pour la Science

[Version Française]

La wiimote continue de susciter de l'intérêt dans le champ des expérimentations scientifiques. Bon marché et bourrée de capteurs, elle demeure un instrument de mesure et un support technique pour l'apprentissage, de choix, pour les chercheurs et les enseignants.

1. Un instrument de mesure

- Conception d'un capteur scientifique intelligent à partir d'une Wiimote bricolée (Trad. "Hacked Wiimote Makes Super Scientific Sensor") (Lang. : Anglais)
S. WEIJS, R. HUT, Université Technique de Delft , Europe (Pays-Bas)
[Utilisation d'une wiimote comme capteur hydrologique - demonstration - source Wired]

Et du même auteur :
Gadgets météorologiques bon marché (Trad. "Cheap weather gadgets") (Lang. Anglais)
(site)(PDF Page 4)
Résumé : "Des chercheurs du département de traitement et gestion des eaux (Université de génie Civil et des Géosciences) veulent couvrir l'Afrique avec des capteurs météorologiques bon marché à base de gadgets électroniques comme la wii remote."
source T. VAN DIJK

- Estimation des données d'entrée pour des opérations déportées (En utilisant des modèles de déplacements humains à à-coup minimal, ceci afin d'améliorer les performances en robotique pilotée à distance) (Lang. Anglais)
Thèse Doctorale, C. Smith, Europe (Suède) 2009

- Wiihabilitation: Réhabilitation de la flexion/extension du poignet en utilisant des jeux à base de Wiimote (Lang. : Anglais)
J. Decker, H. Li, D. Losowyj, V. Prakash Université Rutgers, USA

2. Enseigner avec des wiimotes (...encore.un autre.post)

De nouveaux liens sont susceptibles d'intéresser ceux qui désirent utiliser les wiimotes comme support de cours :

- Applications à partir de wiimote (Lang. : Anglais)
J.A. Vicaria, J.M. Maestre, E.F. Camacho Departement d'Automatique, Université de Séville, Europe (Espagne)

- Utiliser le wii controller pour enseigner les bases de la Physique (Lang. : Anglais)
L. Horner, T. Duncan, H. Lynch, A. Martin, S. Miller Université de Southern Illinois Edwardsville, USA

- Enseignement à distance intruitif via de multiples Interfaces Hommes Machines : Expériences avec des applications à partir de Wiimote (Lang. : Anglais)
Andreas Holzinger1, Selver Softic2, Christian Stickel2, Martin Ebner2, Matjaz Debevc3 1Faculté de Médecine Graz, A-8036 Graz, Europe (Autriche) Institut d'Informatique Médicale, Statistiques & Documentation (IMI) Unité de Recherche HCI4MED 2Université Technique de Graz, A-8010 Graz, Institut d'Informatique (IICM) 3Université de Maribor, Faculté d'Informatique
- TD n° 3 Interaction – Wiimote (Lang. : French)
Travaux Dirigés de l'université Polytech'Nice – Europe (France)


3. Quelques notions de mathématiques et caractéristiques techniques pour des expériences à base de Wiimote :

- Retour sur quelques expériences :
a. Algèbre et wii remote (Lang. Anglais)
b. Suivi à partir de Wiimote basée sur les Quaternions (Lang. : Anglais)
Les deux documents écrits par M. Q. Rieck, Ph. D. Mathematique et Informatique, Université Drake, USA

- Calibration des accélérations de wiimote (Lang.: Italien)
C. Scozzafava – Personal Web site

- Mini-Projet sur interfaces multimodales, Analyse comparative de plusieurs bibliothèques wiimotes. (Lang. Polonais)
L. Kopec, P. Krzepowski, A.G.H. – Europe (Pologne)

- Etude de faisabilité d'interface de controle à partir de Wiimote (Lang. : Catalan)
Miguel Ángel Granado Navarro Projet de fin d'étude, Ecole supérieure Polytechnique de Castelldefels, Europe (Espagne)