1 / 30

Windows Azure HDInsight Benjamin Guinebertière (@benjguin) – Microsoft France

Windows Azure HDInsight Benjamin Guinebertière (@benjguin) – Microsoft France François Simoës – V- Traffic Sébastien Etcheverry – V- Traffic. Merci à nos sponsors. Plan. Introduction (3’) Nouveautés HDInsight (22’) PowerShell, wasb , Templeton , Python, .NET, … Démo

golda
Télécharger la présentation

Windows Azure HDInsight Benjamin Guinebertière (@benjguin) – Microsoft France

An Image/Link below is provided (as is) to download presentation Download Policy: Content on the Website is provided to you AS IS for your information and personal use and may not be sold / licensed / shared on other websites without getting consent from its author. Content is provided to you AS IS for your information and personal use only. Download presentation by click this link. While downloading, if for some reason you are not able to download a presentation, the publisher may have deleted the file from their server. During download, if you can't get a presentation, the file might be deleted by the publisher.

E N D

Presentation Transcript

  1. Windows Azure HDInsight Benjamin Guinebertière (@benjguin) – Microsoft France François Simoës – V-Traffic Sébastien Etcheverry – V-Traffic

  2. Merci à nos sponsors

  3. Plan • Introduction (3’) • Nouveautés HDInsight (22’) • PowerShell, wasb, Templeton, Python, .NET, … • Démo • V-Traffic (25’) • Autres utilisations d’HDInsight (3’) • Combien ça coûte ? (3’) • Conclusion

  4. Windows Azure HDInsight Where Big Data Meets the Cloud • 100% Apache Hadoop solution in the cloud • Insights through Excel • Deployment agility • Hadoop with Enterprise security and manageability • Develop in .NET and Java • Built on Hortonworks Data Platform (HDP) Get Started with HDInsight: http://tinyurl.com/hdinsight

  5. Promoting open Hadoop with strategic Hortonworks partnership + Hortonworks Data Platformfor Windows HDInsight 7

  6. Architecture BI and analytics Sqoop Oozie Collaboration Corporate apps Data search Self-service Azure UX Azure SDK Templeton RDP Hive Pig HCatalog Ambari HDInsight Map Reduce Azure Blobs HDFS

  7. Architecture Azure storage -------------GEODR capable durable storage Compute nodes with local HDFS Head node Secure node

  8. Création d’un cluster

  9. PowerShell

  10. Portail Windows Azure, connexion en RDP Exploration du cluster

  11. IIS LOGS Exécution en PIG et en Hive

  12. Exécution HIVE + PYTHON

  13. V-TRAFFIC

  14. Chaine de production d’information trafic

  15. Généralités • Utilisations des véhicules traceurs (FCD) - Suivi de véhicule 4. Suivi du véhicule : localisation sur le réseau routier 3. Mediamobile collecte ces données 5. Détermination de la vitesse du véhicule sur le réseau 1. Les automobilistes envoient leurs positions lors de leurs déplacements via leur GPS et un accès à internet mobile X km/h Lat2,Long2,D2 Lat1,Long1,D1 2. Nos fournisseurs récoltent les données de géo-localisation

  16. Méthode SqlServer 1 2 3

  17. WorkFlowHDInsight 1 2 3 4

  18. V-TRAFFIC Analyse spatiale

  19. Voies d’optimisation du code Python • Utilisation de R-Tree

  20. Autres utilisations d’HDInsight • Jeux sur Facebook: analyse de logs • Lancement en PHP • ~1 heure par jour • Banque: analyse de tweets

  21. Master Chief meets Big Data • In-game analysis detects cheaters and improves experience for everyone • Enables targeted campaigns that improve customer retention

  22. Two billion minutes a day…and counting • Near real-time visibility into terabytes of data • Able to double processing capacity in minutes

  23. Combien ça coûte ? • http://www.windowsazure.com/pricing

  24. Exemple pour 115 € / mois Source: http://bit.ly/azure4175

  25. Conclusion • HDinsight • Hadoop en tant que service sur Windows Azure • Automatisable • Exécution distribuée de transformation de données (souvent des fichiers texte) • Langages de script de plus haut niveau que Map/Reduce

More Related