Graphique interactif lors de l'enregistrement des données

8

Je cherche à représenter graphiquement et à explorer de manière interactive des données mesurées en direct / en continu. Il existe de nombreuses options, plot.ly étant la plus conviviale. Plot.ly a une interface utilisateur fantastique et facile à utiliser (facilement évolutive, panoramique, facilement zoomable / adaptée à l'écran), mais ne peut pas gérer les grands ensembles de données que je collecte. Quelqu'un connaît-il des alternatives?

J'ai MATLAB, mais je n'ai pas assez de licences pour exécuter simultanément cela et faire du développement en même temps. Je sais que LabVIEW serait une excellente option, mais son coût est actuellement prohibitif.

Merci d'avance!

Clayton Pipkin
la source
Vous n'avez mentionné ni les types de données que vous collectez, ni l' ordre de grandeur de leur volume . Ces informations seraient utiles pour fournir des conseils plus ciblés.
Aleksandr Blekh

Réponses:

7

Pour cette réponse, j'ai supposé que vous préférez les solutions open source à la visualisation du Big Data . Cette hypothèse est basée sur les détails budgétaires de votre question. Cependant, il y a une exclusion à cela - ci-dessous, j'ajouterai une référence à un produit commercial, qui je pense pourrait être bénéfique dans votre cas (à condition que vous puissiez vous le permettre). Je suppose également que les solutions basées sur un navigateur sont acceptables (je les préférerais même, sauf si vous avez des exigences contradictoires spécifiques).

Naturellement, le premier candidat comme solution à votre problème, je considérerais la bibliothèque JavaScript D3.js : http://d3js.org . Cependant, malgré la flexibilité et d'autres avantages , je pense que cette solution est trop faible .

Par conséquent, je vous recommande de jeter un coup d'œil aux projets open source suivants pour la visualisation de Big Data , qui sont suffisamment puissants et flexibles , mais fonctionnent à un niveau d'abstraction plus élevé (certains d'entre eux sont basés sur la fondation D3.js et sont parfois appelé pile de visualisation D3.js ).

  • Bokeh - Bibliothèque de visualisation interactive basée sur Python, qui prend en charge les données volumineuses et en continu: http://bokeh.pydata.org
  • Flot - bibliothèque de visualisation interactive basée sur JavaScript, axée sur jQuery: http://www.flotcharts.org
  • NodeBox - système unique de visualisation rapide des données (pas basé sur un navigateur, mais multi-langue et multi-plateforme), basé sur une conception générative et une programmation fonctionnelle visuelle: https://www.nodebox.net
  • Traitement - système de développement logiciel complet avec son propre langage de programmation, bibliothèques, plug-ins, etc., orienté vers le contenu visuel: https://www.processing.org (permet d'exécuter des programmes de traitement dans un navigateur via http: // processingjs. org )
  • Crossfilter - Bibliothèque de visualisation interactive basée sur JavaScript pour le Big Data par Square (visualisation très rapide de grands ensembles de données multivariés): http://square.github.io/crossfilter
  • bigvis - un package R pour l'analyse exploratoire des mégadonnées (pas une bibliothèque de visualisation en soi, mais pourrait être utile pour traiter de grands ensembles de données / agréger, lisser / avant la visualisation, en utilisant diverses options graphiques R): https://github.com / hadley / bigvis
  • prefuse - bibliothèque de visualisation interactive basée sur Java: http://prefuse.org
  • Lumify - plateforme d' intégration, d'analyse et de visualisation de Big Data (fonctionnalité intéressante: prend en charge le Web sémantique): http://lumify.io

Séparément, je voudrais mentionner deux projets open source d' analyse et de visualisation de Big Data , axés sur les données de graphique / réseau (avec un certain support pour la diffusion de données de ce type): Cytoscape et Gephi . Si vous êtes intéressé par d'autres projets et produits plus spécifiques ( support des cartes , etc.) ou commerciaux (niveaux gratuits de base), veuillez consulter cette compilation impressionnante , que j'ai soigneusement organisée pour dresser la liste principale ci-dessus et analysée : http://blog.profitbricks.com/39-data-visualization-tools-for-big-data .

Enfin, comme je l'avais promis au début, Zoomdata - un produit commercial, que je pensais que vous pourriez vouloir consulter: http://www.zoomdata.com . La raison pour laquelle je l'ai exclu de ma compilation de logiciels open source est due à sa prise en charge intégrée des plates-formes de Big Data . En particulier, Zoomdata fournit des connecteurs de données pour Cloudera Impala, Amazon Redshift, MongoDB, Spark et Hadoop, ainsi que des moteurs de recherche, des principaux moteurs de base de données et des données en streaming.

Avertissement: je n'ai aucune affiliation avec Zoomdata que ce soit - j'ai été simplement impressionné par leur gamme d'options de connectivité (qui pourrait vous coûter très cher, mais c'est un autre aspect de l'analyse de ce sujet).

Aleksandr Blekh
la source
1
Merci beaucoup Aleksandr Blekh & Nitesh pour votre perspicacité. Je vais certainement examiner ces options. Une chose que j'aurais dû être plus claire, c'est que je capture des données en direct à partir d'un micromètre laser, en échantillonnant à environ 60 échantillons par seconde. Juste après avoir posé cette question, j'ai trouvé un logiciel appelé KST ( kst-plot.kde.org ). Cela fonctionne bien, sauf qu'il n'est pas stable et qu'il n'est pas particulièrement facile d'extraire des données plus anciennes, de zoomer / dézoomer, etc.
Clayton Pipkin
@ClaytonPipkin: Vous êtes les bienvenus. Je suis ravi de vous aider. N'oubliez pas de voter pour les deux réponses et d'accepter la meilleure, si vous êtes satisfait. KST semble intéressant, mais gardez à l'esprit qu'il s'agit d'une application, par conséquent, il n'a pas une capacité native de visualiser les données pour le Web.
Aleksandr Blekh
@AleksandrBlekh Personne n'a voté pour ma réponse :( Mais votre réponse est très satisfaisante. Je vais la voter!
Nitesh
@Nitesh: Merci pour vos paroles aimables et votre vote positif. Ne vous inquiétez pas trop de votre réponse particulière - elle n'est pas mauvaise, mais d'une portée plutôt limitée. Néanmoins, je vais le voter pour le contenu et pour vous remonter le moral :-).
Aleksandr Blekh
1

La visualisation de grands ensembles de données est un problème de longue date. L'un des problèmes est de comprendre comment nous pouvons afficher plus d'un million de points sur un écran qui ne compte que ~ ~ million de pixels.

Cela dit, voici quelques outils qui peuvent gérer les mégadonnées:

  1. Tableau: vous pouvez utiliser leur outil de bureau gratuit.
  2. Tabplot: construit au-dessus de ggplot2 dans R pour gérer des ensembles de données plus importants.
  3. Voir cette revue pour 5 autres produits qui peuvent vous aider à faire votre travail.
Nitesh
la source
0

Si vous utilisez python, je vous suggère d'utiliser mpld3 qui combine les visualisations javascript D3js avec matplotlib de python.

L'installation et l'utilisation sont vraiment simples et il a des plugins sympas et des trucs interactifs.

http://mpld3.github.io/

RAM
la source