Les frameworks de ML évoluent à un rythme effréné, et les techniciens doivent gérer en moyenne 8 bibliothèques. En un clic, le Runtime ML permet d'accéder à un panel fiable et performant des frameworks ML les plus populaires, mais aussi à des environnements de ML personnalisés via des conteneurs pré-construits ou via Conda.
Accélérez le machine learning, depuis la préparation des données jusqu'à l'inférence, grâce à des fonctionnalités AutoML intégrées comme l'ajustement des hyperparamètres ou la recherche de modèle à l'aide de Hyperopt et de MLflow.
Passez sans effort au big data grâce à une infrastructure de cluster évolutive et auto-gérée. Le Runtime pour le Machine Learning contient des améliorations de performances exclusives pour les algorithmes les plus populaires, ainsi que HorovodRunner, une API toute simple pour le deep learning distribué.
Frameworks de ML : les bibliothèques et frameworks de ML les plus populaires sont inclus en standard, notamment TensorFlow, Keras, PyTorch, MLflow, Horovod, GraphFrames, scikit-learn, XGboost, numpy, MLeap et Pandas.
Suivi automatisé des tests : surveillez, examinez et comparez des centaines de milliers de tests à l'aide d'outils open source ou de Managed MLflow, ainsi que de la fonction de graphique de coordonnées parallèles.
Recherche de modèles automatisée (pour ML à nœud unique) : recherche conditionnelle d'hyperparamètres distribués et optimisés, sur plusieurs architectures de modèles, avec suivi automatisé vers MLflow et Hyperopt amélioré.
Ajustement automatique des hyperparamètres pour le machine learning à nœud unique : recherche d'hyperparamètres distribués et optimisés, avec suivi automatisé vers MLflow et Hyperopt amélioré.
Ajustement automatique des hyperparamètres pour le machine learning distribué : intégration étroite avec l'outil Cross Validation de PySpark MLlib, qui permet de suivre automatiquement les tests MLlib sous MLflow.
Optimized TensorFlow: Benefit from TensorFlow CUDA-optimized version on GPU clusters for maximum performance.
HorovodRunner : migrez rapidement votre code d'entraînement de modèle de deep learning sur nœud unique (ou single node), pour l'exécuter sur un cluster Databricks grâce à HorovodRunner, une API très simple qui permet d'éliminer les complications couramment rencontrées pendant l'utilisation de Horovod pour l'entraînement distribué.
Arbres de classification et régressions logistiques MLlib optimisés : nous avons optimisé les estimateurs les plus populaires dans le cadre du runtime Databricks pour le ML pour vous apporter des calculs jusqu'à 40 % plus rapides qu'avec Apache Spark 2.4.0.
Optimisation de GraphFrames : exécutez GraphFrames 2 à 4 fois plus vite et profitez de requêtes Graph jusqu'à 100 fois plus rapides, en fonction des tâches et du niveau d'asymétrie des données.
Stockage optimisé pour vos tâches de deep learning : tirez parti de solutions haute performance sur Azure et AWS pour le chargement de données et les checkpoints des modèles, lesquels sont essentiels à vos tâches d'entraînements de modèles de deep learning.
Le runtime pour le Machine Learning est une surcouche mise à jour lors de chaque montée de version. Il est disponible sur toute la gamme de produits Databricks, notamment : Azure Databricks, AWS cloud, clusters GPU et clusters CPU.
Pour utiliser le runtime pour le ML, sélectionnez tout simplement la version ML du runtime au moment de créer votre cluster.
Simplify Distributed TensorFlow Training for Fast Image Categorization at Starbucks