L'Amazon Echo est-il toujours à l'écoute et envoie des données vers le cloud?

Plusieurs sources d'information telles que Intellihub et CEPRO semblent suggérer que l'assistant accueil Echo d'Amazon constamment à l' écoute des conversations et les envoie via Internet aux serveurs d'Amazon. Le CEPro déclare que:

En disant une phrase clé qu'Amazon appelle un «mot d'éveil», l'Echo prend vie et commence à écouter les commandes. Par défaut, le mot de réveil est Alexa.

Si vous relisez cette dernière phrase, cela peut ne pas avoir de sens, surtout si vous êtes dans le domaine de la sécurité. Selon Amazon, l'Echo n'écoute les commandes qu'une fois qu'il a entendu son mot de réveil. Comment sait-il que vous avez prononcé le mot de réveil s'il ne l'écoutait pas déjà?

L'article d'Intellihub est similaire dans son sentiment:

L'appareil «Amazon Echo», un haut-parleur Bluetooth à écoute constante qui se connecte à des services de streaming de musique comme Pandora et Spotify au son de la voix d'une personne, peut être facilement piraté et utilisé par des agences gouvernementales comme le FBI pour écouter les conversations.

(Notez que je ne suis pas particulièrement concentré sur l'exploration de l'aspect piratage de cette question, car ce serait probablement trop pour une question. Mon objectif principal est l'aspect toujours activé et si cela envoie des données tout le temps .)

Aucun des deux articles ne semble particulièrement désireux de divulguer une source pour ses allégations, ce qui me suggère qu'elles ne sont pas prouvées au mieux, ou au pire les appâts cliquables.

L'Echo enregistre-t-il et envoie-t-il toujours des données dans le cloud, ou les affirmations ci-dessus ne sont-elles pas fondées? Comment Amazon Echo traite-t-il les données s'il n'envoie pas toujours des données aux serveurs dans le cloud?

Oui, c'est toujours à l'écoute. Non, ce n'est pas toujours l'envoi vers le cloud.

Évidemment, l'appareil doit être toujours à l'écoute pour détecter le mot de réveil. Cependant, cela se fait par une technologie appelée.

1. Comment Amazon Echo et Echo Dot reconnaissent-ils le mot de réveil?

Amazon Echo et Echo Dot utilisent la détection de mots clés sur l'appareil pour détecter le mot de réveil. Lorsque ces appareils détectent le mot de réveil, ils diffusent l'audio dans le cloud , y compris une fraction de seconde d'audio avant le mot de réveil.

( FAQ Echo )

Ainsi, selon Amazon, la détection du mot de réveil se trouve sur l'appareil. Cela peut être testé très facilement en interdisant à l'appareil d'accéder à Internet via votre routeur. L'Echo / Echo Dot reconnaîtra toujours le mot de réveil, mais l'anneau lumineux deviendra rouge et l'appareil vous indiquera qu'il n'a pas de connexion Internet. Ainsi, nous pouvons très simplement vérifier que la reconnaissance du mot de réveil se fait bien localement .

Ce n'est qu'après avoir détecté le mot de réveil que l'appareil contacte le service cloud Alexa.

Selon Amazon, l'appareil ne diffuse dans le nuage que lorsque l'anneau lumineux est bleu et qu'il n'écoute pas du tout lorsque vous le désactivez et que l'anneau lumineux rayonne d'un rouge fixe. Bien sûr, les personnes prudentes peuvent vérifier cela avec des outils réseau tels que Wireshark pour s'assurer qu'il ne transmet vraiment qu'à ce moment-là.

L'Echo enregistre-t-il et envoie-t-il toujours des données dans le cloud, ou les affirmations ci-dessus ne sont-elles pas fondées?

Non sur l'envoi. Mais oui sur l'enregistrement.

Je développe actuellement un client matériel Alexa pour une entreprise. L'appareil écoute toujours. Mais il faudrait y mettre un moteur de mots de réveil pour qu'il se "réveille" du mode d'écoute passive et passe en mode "écoute de commande" actif.

Le micrologiciel n'enverrait les instructions qu'après le mot de réveil (passer en mode actif) dans le cloud pour les traiter comme des commandes.

• En ce qui concerne l'appareil, vous ne voudriez pas envoyer toutes les déclarations qu'il pénètre dans le cloud pour traitement, car cela consommerait trop de bande passante et d'énergie.
• En ce qui concerne Amazon, ils ne voudraient pas non plus que chaque client Alexa envoie tout ce qu'il entend, car cela prendrait une énorme quantité de bande passante. En outre, cela entraînerait trop de données non liées qui gâcheraient l'apprentissage continu du système. Imaginez-vous essayer d'apprendre ce que dit votre professeur (commandes valides) lorsque tout le monde en classe parle en même temps (toutes les autres déclarations qui ne sont pas une commande).

Comment Amazon Echo traite-t-il les données s'il n'envoie pas toujours des données aux serveurs dans le cloud?

En mode passif, l'appareil dispose d'un moteur de mot de réveil interne qui écoute tout le temps le mot de réveil. Pendant que je testais Alexa dans Raspberry Pi, j'ai dû installer le moteur sensoriel ou KITT.AI à cet effet. En fait, quand j'ai essayé le prototype du code client Alexa pour ma machine Linux, il fallait que ce soit "push-to-talk" car il n'y avait pas de moteur de mot de réveil.

En disant une phrase clé qu'Amazon appelle un «mot d'éveil», l'Echo prend vie et commence à écouter les commandes. Par défaut, le mot de réveil est Alexa.

Si vous relisez cette dernière phrase, cela peut ne pas avoir de sens, surtout si vous êtes dans le domaine de la sécurité. Selon Amazon, l'Echo n'écoute les commandes qu'une fois qu'il a entendu son mot de réveil. Comment sait-il que vous avez prononcé le mot de réveil s'il ne l'écoutait pas déjà?

Echo écoute activement le mot - clé et prend les mots prononcés après le mot-clé pour le traitement NLU. Voici ma compréhension de la manière dont l'écho réalise cet exploit.

Echo est basé sur le processeur multimédia numérique Texas Instruments DM3725 .

Ce TI SoC comprend deux éléments clés à l'intérieur, le premier est le MPU ARM Cortex-A8 et le second est le TMS320DM64x + DSP. Le noyau ARM doit exécuter Linux et le DSP exécute le micrologiciel.

Au ralenti, le cœur ARM est amené à l'état d'alimentation le plus bas possible et Linux est complètement suspendu. À ce moment, le DSP et la RAM sur puce de 64 Ko sont actifs. Le micrologiciel DSP traite le bruit provenant des micros et tente d'identifier si un mot-clé (par exemple, Alexa) est prononcé. Dès qu'il identifie qu'il y a un mot-clé, DSP envoie une interruption pour réveiller le noyau ARM qui à son tour reprend Linux. Mais rappelez-vous, pendant que Linux réveille l'humain qui a dit qu'Alexa aurait continué à parler (comme dans «Alexa, quelle heure est-il?» ). Le DSP met en mémoire tampon "quelle heure est-il?" partie sur la RAM sur puce. Et lorsque Linux reprend, Linux récupère la parole mise en mémoire tampon et utilise la capacité de traitement du langage naturel (partiellement locale, partiellement cloud) pour comprendre ce que l'homme a dit.

Comme vous le voyez, la conception est totalement créée pour être la moins gourmande en énergie et pour éviter d'avoir à inclure le cloud pour la détection des mots clés et la mise en mémoire tampon initiale. En fait, le fait de maintenir le cœur ARM à l'état de puissance le plus faible garantit que le silicium chauffe le moins lors de la marche au ralenti, ce qui confère une longue durée de vie à votre appareil.

Je laisse de côté la discussion sur les tentatives de piratage de l'écho car la question était la suivante:

la reconnaissance du mot de veille se fait en effet localement.

Oui.

Voir, par exemple, dans quelle mesure le nouvel Amazon Echo est-il privé? (il y en a beaucoup plus similaires à trouver avec un effort minimal)

Comme Siri, Amazon Echo fonctionne dans le «cloud», fonctionnant sur Amazon Web Services. Par conséquent, le traitement requis pour «comprendre» votre commande n'est pas géré sur l'appareil lui-même

cependant,

Après tout, c'est toujours à l'écoute, alors ne devrions-nous pas nous inquiéter de Big Brother?

Non, dit Amazon. Le géant de la technologie dit qu'il n'écoute ni n'enregistre de conversations privées à la maison. Si quelqu'un est concerné, il peut utiliser la télécommande fournie pour appuyer sur le bouton de sourdine, ce qui éteint l'appareil «toujours à l'écoute», il sera donc inutilisable jusqu'à ce que vous réactiviez le microphone.