Accent français

The idea of the singularity starts with numbers. Numbers that get bigger and bigger over time, exponentially. As Ray Kurzweil showed it in his presentation, big numbers getting bigger are all over the technological world:

• Moore’s law
• Total bits shipped
• Magnetic data storage bits per dollar
• Internet data traffic
• Internet backbone bandwidth
• US nanotechnology-related patents

But also in biology, for instance the cost of sequencing DNA that is dropping exponentially.

Conjecturing what happens next when those numbers get really big is what this summit and the groups involved in the singularity are about. Something is bound to happen. Something special, something unforeseen, something beyond any of our wildest prediction. Will it be good (techno-optimist), bad (techno-pessimist), the same (techno-neutral) or good or bad depending on how we get there (techno-volatile)? What is going to happen, to people, to human intelligence, to artificial intelligence, to the biological world? When will the singularity point be past?

So, the singularity is where we’re going, but the work still needs to be done. And that’s what computer scientists, biologists, neuroscientists, writers, futurists, psychologists, historians and many other experts come together to discuss.

One main theme is understanding the human body and the brain better. Not just to cure diseases, repair the body, make us immortal, and more intelligent, but also to find principles that guide scientists to make smarter, more powerful technology, such as nano machines that writes and reads DNA, or computer systems that are generally intelligent.

With that many different angles and approaches to the singularity, there is no unified view of it and it is hard to even get a more precise idea about what it could be or mean. You get bits and pieces here and there, a glimpse over here. And as they say, one thing that is certain about the future is that you cannot predict it.

Besides the big ideas, was the conference good? Yes, it was nice to attend, listen to some of the guys whose blogs and articles I read from time to time. The distribution was as usual, 4-5 talks I really enjoyed and were thought-provoking to me, a few I could have slept through and the rest in the middle. I enjoyed it overall but I’m not sure experts would learn that much per se from their own field from the talks, unless you come to network.

The videos should get on the website sometime.
Read the day one and day two report articles from the h+ magazine.

I attended TEI’10 conference in Boston and presented there our work and demo of SensorComix (Pdf) , a research project at NRC I did with my colleagues Vidya Setlur, Tim Sohn, and Hiroshi Horii.

In SensorComix, we leverage and build upon a previous project called Nokia Mashups where SMS conversations are displayed with rich graphics representative of who’s having the conversation, the place where the communicants are located, and what they’re talking about.

The idea in SensorComix is twofold: add another dimension of expressiveness to SMS conversations, and add playfulness.

I personally have tons of stories about SMS mishaps and miscommunication, and from what I’ve seen in our projects and user trials, I’m surely not the only one. For example, a girl sends an SMS to her boyfriend asking him about something, he replies ‘yes’. The girl sends quickly another message telling him how rude he is. The boyfriend sends back that he’s in class and has no time to elaborate. Another example with yet another couple communicating, the boyfriend asks his girlfriend if she went to an evening work event, then quickly in another SMS, asks her if he’s going to see her in the evening. He gets a reply of ‘No too tired’ and assumes it’s the answer to the second message.

SMS messages are a strange way of communicating. They’re short, and because the input methods are limited to small physical keyboards, or tiny keypads, or onscreen keyboards, people are limited in how much they can write, and how clearly they can convey all the nuances in their message. SMS are sent from mobile phones, and have become a preferred way people communicate whenever and wherever they are. But often people are busy, they’re going places, they’re in meetings or in class, with other people, and they may not have time to write clear and unambiguous messages. SMS are asynchronous but nonetheless there is some expectation that the other person is going to reply, sometimes quickly, especially when SMS are between people in a close relationship or when the persons are suppose to meet or plan something together.

In SensorComix, the user writes the SMS and can use one of four different gestures that add different graphical elements to convey an emotion associated to that gesture. For example, rubbing the phone will make little hearts pop up. Shaking the phone will make a fire and flames appear. The four gestures we’ve included are those:

• Rubbing, to convey affection
• Shaking, to convey impatience or anger
• Tapping, to poke
• Knocking, to get attention

With SensorComix, one can write the message, and quickly add an emotion to it with a simple gesture.

It’s best seen on the video:

Details on the demo implementation

We used Nokia tablet devices N810, a SHAKE SK6 sensor and a MAC laptop to create the prototype. The demo does not send SMS or MMS, but is hacked together to let the user takes an N810, see a comic with preloaded images (that one can change), write a message, enter gestures on the sensor which will display animated graphical elements on the comic, and send the message. The other N810 will receive the message and display the message with the comic, message and animated elements, and one can then reply to the message.

The messaging application showing the comic and the input text for the message is actually an HTML web page, which is served by the MAC laptop. But the actual comic and the animation that appear when entering a gesture are done with a Flash/Flex component embedded in the Web page. The laptop runs a custom Python HTTP server which does 3 things:

• Serve Web pages to the clients. There are 2 types of web pages, one for sending a message, one for receiving a message. The server also provides all the images displayed in the comic.
• Connect to the SK6 sensor via Bluetooth. The server reads the data from the sensor and performs the gesture recognition.
• Communicate via permanent sockets with the Flash/Flex component embedded in the Web pages. When the Web page for sending a message is displayed, the Flash/Flex component opens a socket with the server, registers as ‘sender’ and will receive the information to update the comic: the message being typed in the HTML input textarea, and which animated elements to display which should correspond to the gesture recognized by the server from the sensor data.

To run the demo, I create a ‘Network’ on the laptop. The server runs on port 80 on the laptop and I open the browser on the N810 to the URL http://[IP address of the laptop]. This configuration is somewhat stable but not highly robust. I could demo it without too much trouble for a couple of hours at TEI. During the development, there were few hiccups to circumvent with the Flash/Flex – Python socket communication. The advantage is of course that you don’t need the N810 to develop the code, you can just run the Flash/Flex in your laptop browser all the same.

For the gesture recognition, I wrote some custom simple code to identify the 4 gestures. Only 2 different sensors out of the several provided on the SK6 are used: the touch sensor (rubbing and tapping) and accelerometer (knocking and shaking). The recognition is robust enough that I don’t recalibrate the SK6 at all, but the knocking gesture was the one that was not recognized well. I should just rewrite the code. We did the project before this SHAKE  Drivers Google project started and haven’t had a chance to look into it.

There is tons of work going on at Nokia Design on gestures. See Gesture Design and the video here.

J’ai eu la chance de venir présenter notre démo SensorComix à TEI 2010 organisée à Boston au Media Lab du MIT. C’était bien sympa de passer 3 jours dans le nouveau batiment du Media Lab. TEI n’est pas vraiment le genre de conférence à laquelle je suis habituée. TEI est l’abbréviation de  Tangible, Embedded and Embodied Interaction, ce qui veut dire Interactions tangibles, embarquées et incarnées (?). Comme toujours, les traductions des nouveaux domaines technologiques sont assez délicates.

Wikipedia n’a pas encore de version française pour Tangible User Interface, absence qui pointe encore une fois le retard de la recherche française en la matière.

Une interface utilisateur tangible, c’est une interface utilisateur grâce à laquelle l’utilisateur interagit avec des informations digitales à travers l’environnement physique. Par exemple, dans la démo SMSlingshot, il s’agit d’utiliser un lance-pierre (objet réel) pour tirer un message (objet digital) en direction d’un écran ou d’une projection d’écran (environnement physique comme une la façade d’un batiment par exemple). Le lance-pierre contient un petit écran et un clavier pour taper un court message type SMS. Une fois que l’utilisateur active le lance-pierre, l’écran affiche le message sous forme de tag ou graffiti, comme une balle de peinture explosée sur un mur, avec le message écrit dedans. L’ensemble lance-pierre et écran ou projection constitue une interaction tangible.

Une personne utilise le lance-pierre pour lancer un nouveau message sur l'écran

Installation du SMSlingshot

D’abord, très bon point pour TEI, toutes les publications sont disponibles directement à partir du site. Pendant la conférence, toutes les présentations ont été enregistrées sur vidéo et transmises live, et seront accessibles du site Web bientôt. Le flux Twitter n’était pas super actif pendant la conférence, ce qui n’est pas plus mal du reste.

90 projets ont été acceptés, avec près de 30 démos présentées dans la session démo, et 30 publications présentées dans les sesssions principales.

Le domaine de recherche couvert par TEI est relativement jeune (la première conférence TEI a eu lieu en 2007), et la communeauté dynamique, relaxe et accessible. La jeunesse du domaine et le fait que la communeauté soit particulièrement enclin à créer et implémenter des idées, et soit aussi très sensible aux arts et design font que – c’est mon avis – les gens sont restés humbles et ne se prennent pas la tête. Ca a été un plaisir d’assister et de participer à la conférence.

L’émergence ces dernières années et l’utilisation de plus en plus facile et peu couteuse de différentes plateformes de développement hardware et software ont rendu la création de prototypes tangibles beaucoup plus faciles. Les platformes telles qu’Arduino sont particulièrement populaires non seulement parmi les étudiants et chercheurs, mais aussi les designers, artistes, éducateurs et enseignants.

Je pense qu’à l’heure actuelle, la communeauté TEI a un peu de mal à positionner son travail. Le but est-il de créer des objets ou environnements utiles aux gens, par exemple, des applications éducatives pour les enfants, de comprendre comment on peut améliorer les interactions utilisateurs classiques en incorporant des composantes d’interaction tangibles? Ou bien les projets restent-ils du domaine de l’art: certes beaux, nouveaux, intéressants et parfois provoquants, mais d’utilitée pratique limitée? D’un point de vue scientifique, les projets relèvent parfois plus du domaine artistique ; et d’un point de vue utilisateur lambda, les mêmes projets sont plutôt ceux de maniaques d’informatique et d’électronique.

Dans tous les cas, l’apprentissage de plateformes type Arduino par les jeunes et même très jeunes est très intéressante. Des évoles américaines initient à la programmation des élèves de CM2 en utilisant des plateformes telles que Scratch, Arduino, ou une combinaison des deux avec Scratch for Arduino.

J’ai participé l’après-midi du deuxième jour à un studio (pdf) d’initiation à Scratch pour Arduino. C’était très bien organisé, et j’ai pu m’amuser à faire briller une diode en fonction de la lumière reçue par un détecteur de lumière. Après ça j’ai fait une version pour générer des sons en fonction de la lumière détectée, comme le montre la vidéo dessous (le son est mauvais).

Programme fait avec Scratch for Arduino

Je vais aussi recommender à ma soeur qui aime coudre et créer des sacs et vêtements d’essayer Scratch et la plateforme hardware Lilypad Arduino, qui permet de coudre et d’intégrer dans des textiles des composants électroniques tels que capteurs, accéléromètres et diodes cousus et reliés à la carte microcontrolleur par des fils conducteurs.

A quand Scratch et Arduino dans les écoles françaises?!