Big Data et analyses IoT : les passerelles sont jetées

Avenir de l’IT : La croissance quasi exponentielle des données fournies par les objets connectés à Internet (ou IoT) incite à se tourner vers les technologies Big Data. Traiter ces données à la volée serait l’idéal. Pas impossible… On y tend sérieusement.

Il faut ensuite stocker toutes ces données collectées. On peut retenir Hadoop Hive ou encore la  base de données NoSQL (ou Couchbase, par exemple, qui apporte du haut-débit et une faible latence réseau). Le rajout de données supplémentaires peut s’effectuer avec le format HDFS notamment dans Hadoop. Des messages peuvent également être poussés et distribués via un ‘broker’ de messages tel que Apache Kafka, ou dans la filiation de MQTT, on trouve Mosquitto. Pour les transferts de messages ou ‘workflows’, on peut également avoir recours à des moteurs « temps réel » dans le traitement des workflows, tels que Apache Storm. Nous sommes au cœur d’environnements Open Source.

Quel que soit le protocole choisi, le workflow des messages d’évènements et des notifications devra fonctionner de façon fluide. Ces données auront avantage à être stockées à la source si l’on veut faire du’ debugging’ ou relancer des séquences pour faire des tests. Car il faut pouvoir procéder à des modifications, transformations ou enrichissements – certaines données pouvant manquer ou être remplacées par d’autres.

Dans l’environnement Hadoop

Ce sont là quelques repères. Le stockage des données ouvre également la possibilité d’effectuer des analyses supplémentaires à une date ultérieure, en utilisant divers outils de votre choix. Il en existe toute une panoplie dans l’environnement Hadoop, comme Pig, par exemple.

Parmi les solutions logicielles récentes s’inscrivant dans cette lignée, HPe a introduit cet été une nouvelle version de Vertica, sa plate-forme Big Data. Dans cette version au nom de code ‘Excavator’, les fonctionnalités de streaming des données ont été enrichies, ainsi que les capacités de recherche de logs en fichiers textes, spécialement pour les équipements IoT. Cette version supporte Apache Kafka. Avec son système de distribution de messages Open source’, elle ouvre la voie au monitoring et au déploiement de contrôle de process dans l’industrie, la santé ou la finance.

La recherche de logs ainsi ouverte va permettre de recueillir et organiser de très vastes ensembles de données générés par des systèmes ou applications, ce qui permet d’élargir la prévention de défaillances applicatives ou de cyber-attaques et de détecter des accès non autorisés.

En parallèle, l’éditeur a confirmé son engagement dans le Big Data en annonçant le programme Haven Startup Accelerator visant à permettre aux développeurs un accès à ses ‘librairies’ Vertica communautaires. Il a également été annoncé une intégration native de Vertica avec Apache Spark ainsi que la compatibilité avec les requêtes SQL depuis l’environnement Hadoop. Il sera donc possible de construire des modèles de données dans Spark pour ensuite les exécuter dans le moteur d’analyse Vertica.

En clair, la frontière entre univers propriétaires et Open source va continuer de s’ouvrir.

Par Pierre Mangin

http://www.zdnet.fr/actualites/big-data-et-analyses-iot-les-passerelles-sont-jetees-39827844.htm

Publicités