Chorégraphe - Reconnaissance vocale

[Mise à jour le 10/1/2019]

Niveau : facile

Pepper dispose de capacités de compréhension orale. Pour que son écoute soit optimum, il ne doit y avoir un bruit environnant trop important.

A la mise en route du programme, Pepper attendra que vous lui posiez des questions et il vous répondra.

1. Gérer la reconnaissance vocale
2. Encapsuler des boîtes
3. Afficher une image sur la tablette

• Vous pouvez repartir du projet précédent ou créer un nouveau projet
• Complétez le placement des boîtes comme ci-dessous :

Nb: Vous trouverez « speech recognition » dans la librairie : speech/création et vous trouverez « switch case » dans la librairie : programming/logic

• Renseignez les boîtes comme ci-dessous

a) Boîte1: Dans Word liste (en cliquant sur la clé), mettre le texte suivant: “parle-moi du lycée”

b) Boîte2: Dans text (en cliquant sur la clé), mettre le texte suivant : “Avec plaisir! Que souhaites-tu connaitre?”

c) Boîte3: Dans text (en cliquant sur la clé), mettre le texte suivant : “La voie professionnelle? La voie technologique? Ou la voie générale?”

d) Boîte4: Dans Word liste (en cliquant sur la clé), mettre le texte suivant : “voie professionnelle;voie technologique;voie générale”. Attention, Ne pas mettre d’espace après le point virgule. Sinon, Pepper ne reconnaitra pas les mots qui suivent…

d) Boîte5: Double-cliquez sur les champs textuels de la boîte et entrez le texte comme si dessous e) Boîte6: Dans text (en cliquant sur la clé), mettre le texte suivant : “Le lycée dispose d'un C.A.P et quatre Bac pro”

f) Boîte7: Dans text (en cliquant sur la clé), mettre le texte suivant : “Le lycée dispose des quatre spécialités du Bac S.T.I2D”

g) Boîte8: Dans text (en cliquant sur la clé), mettre le texte suivant : “Le lycée dispose du Bac s sciences de l'ingénieur”

• Complétez les connexions de la façon suivante :

Précisions sur la boîte “speech reco.” : Pepper est multitâches. Il est donc capable de faire fonctionner plusieurs boîtes en même temps.

. La sortie « word recognized » est rebouclée sur l’entrée « onstop » pour éviter des reconnaissances intempestives lors de la suite du programme.
. La sortie « onNothing » est rebouclée sur l’entrée « onStart » afin d’attendre que Pepper reconnaisse un des mots de la boîte avant de passer à la suite.

• Lancez le programme temporaire afin de vérifier qu’il réponde à votre attente : Une fois ce programme lancé, vous devez lui dire : « parle-moi »

NB: Dans les boîtes « speech recognition » vous avez la possibilité de régler le seuil de compréhension en %.

Plus ce seuil est bas, meilleure est la compréhension de Pepper (cependant il risque de confondre un mot pour un autre). Plus ce seuil est haut, Pepper évitera de confondre un mot pour un autre ( cependant il faudra parler de façon claire et articulée).

• A ce stade, le programme reste assez simple. Cependant vous risquez très rapidement de vous retrouver avec un « gros sac de nœuds » et votre programme sera très difficile à exploiter.

Pour résoudre ce problème, vous allez ici faire un exercice d’encapsulage des boîtes 6, 7 et 8.

1. Sélectionnez ces 3 boîtes avec la souris (leur entourage devient bleu)
2. En positionnant le pointeur de la souris sur une boîte, faites un clique droit.
3. Sélectionnez « convert to box »

Vous vous retrouvez ainsi avec une seule boîte. En double cliquant dessus, vous entrez à l’intérieur et pouvez en modifier le contenu.

Dans les étapes suivantes, vous allez maintenant importer une image pour la faire afficher sur la tablette de Pepper.

• Pour exploiter pleinement la dimension de la tablette, vous devez dimensionner l’image que vous souhaitez afficher en résolution : 1280 x 800 pixels
• Dans le panneau « project files » :
  1. Cliquez sur le bouton croix bleu, puis sur « creat directory »
  2. Nommez ce dossier: “html”
  3. cliquez à nouveau sur le bouton croix bleu puis sur « import files »; Votre fichier image apparaît ensuite dans project files
  4. Déplacez ce fichier pour le placer dans le dossier “html”

Dans cet exemple, l’image est le logo du lycée, il se nomme « pem » et doit apparaître comme ci-dessus.

• Dans le panneau Librairie:
  1. Recherchez la boîte « show image » dans multimédia/tablet
  2. Placez cette boîte dans votre espace de programme
  3. Cliquez sur la clé de cette boîte et entrez le nom de l’image avec son extension dans le champ « imageUrl »
  4. Faites ensuite la connexion comme par exemple ci-dessous

• Lancez le programme temporaire pour vérifier votre travail

NB : Vous pouvez importer plusieurs box image à plusieurs endroits du programme. La dernière box activée par le déroulement du programme « écrase » l’image des autres. Il n’est donc pas indispensable de gérer les entrées/sorties stop.

• Dans cette dernière étape, installez le programme définitif pour qu’il se lance automatiquement

Pour aller plus loin: Vous souhaitez intégrer une vidéo sur la tablette…

• Récupérez ou téléchargez votre vidéo (un format 640×360 passe correctement)
• Convertir votre vidéo au format AVI:
  • Proposition d'outil en ligne: lien
  • Avant la conversion, retirez la bande son si vous souhaitez que par la suite Pepper fasse la voie off
  • Toujours avant la conversion, verifiez que vous utilisez le codec Mpeg4

Le code source de l'exemple Le saxophoniste est téléchargeable A venir.