De plus en plus d’entreprises adoptent le framework Hadoop MapReduce pour transformer leur décisionnel et déceler des opportunités commerciales cachées dans de gros volumes de données. Toutefois, le développement et la maintenance de déploiements Hadoop, tout comme le respect des niveaux de services (SLA), posent un certain nombre de difficultés et de risques susceptibles de freiner son adoption.
- L’évolution des volumes requiert l’ajout de nœuds du fait de la haute sollicitation CPU et mémoire.
- Les optimisations s’appuient sur des centaines de paramètres configurables, rendant difficile d’obtenir des performances optimales.
- Le développement et la maintenance de tâches MapReduce exigent des compétences techniques pointues.
- L’ajout de nouvelles fonctionnalités comme le tri inversé (reverse sorting) implique du codage spécifique.
Accélération d’Hadoop avec DMExpress
Syncsort propose DMExpress Hadoop Edition, édition spéciale de son logiciel d'intégration de données. Sa mission : aider les entreprises à accélérer leurs déploiements Hadoop, réduire leur TCO et raccourcir leurs délais de retour sur investissement. Forte de plus de 40 années d’expertise dans l’intégration de données à haute performance, cette nouvelle solution rend le développement de tâches MapReduce plus facile, en conjuguant les avantages de la plateforme distribuée avec les bénéfices des performances inégalées et de l’efficacité exceptionnelle de DMExpress.
- Optimisation des performances et de l’évolutivité, réduction des besoins matériels jusqu’à 50 %. Possibilité de différer les achats d’équipements, tout en continuant à respecter et dépasser les SLA.
- Optimisation automatique des traitements, réduisant les besoins informatiques consacrés à la maintenance des déploiements Hadoop existants.
- Interface graphique intuitive pour lever les freins à une adoption plus large à l’échelle de l’entreprise, augmenter la productivité globale et accélérer le développement de projets stratégiques.
D’abord distribuée en tant qu’édition bêta limitée, DMExpress Hadoop Edition devrait être lancée officiellement en fin d’année 2011. Si notre programme bêta vous intéresse, contactez-nous pour en savoir plus.
« Les tests comparatifs Hadoop que nous avons menés en collaboration avec Syncsort ont surpassé nos attentes. Nous percevons un véritable potentiel dans l’utilisation d’outils légers et faciles à déployer tels que DMExpress, pour accélérer les traitements MapReduce et les rendre plus efficaces. »
-- Michael Brown, directeur des technologies informatiques, comScore Inc. |
comScore a doublé ses performances grâce à l’accélération d’Hadoop
Leader des études marketing dans le monde numérique, comScore a défini et construit un marché en exploitant le « Big Data » pour contribuer à la réussite de ses clients. L’entreprise surveille, collecte et analyse plus de 20 milliards d'enregistrements par jour, soit plusieurs téraoctets de données, pour fournir une vision unique des comportements en ligne et hors ligne des utilisateurs.
comScore s’est tournée vers Syncsort pour l’accélération de ses traitements Hadoop, et a doublé ses performances lors de phases de tests avec DMExpress, sans ajout de matériel et avec des efforts de codage et d’optimisation minimaux.*
* The benchmark testing was completed on a 6 node cluster on Cloudera’s Distribution for Hadoop Version 3 (CDH3) and involved terabytes of data.