Mosaic AI
Développez et déployez des applications de ML et d'IA générative de qualité production
Databricks Mosaic AI fournit des outils unifiés pour créer, déployer et superviser les solutions d'IA et de ML, du développement des modèles prédictifs aux modèles d'IA générative et de langage (LLM) les plus récents. Reposant sur la Data Intelligence Platform de Databricks, Mosaic AI offre aux organisations un moyen sécurisé et économique d'intégrer leurs données d'entreprise dans le cycle de vie de l'IA.
Un contrôle total
Restez maître des modèles et des données
Qualité production
Produisez des applications d'IA précises, sûres et encadrées
Réduisez les coûts
Entraînez vos LLM personnalisés et mettez-les à disposition pour un coût dix fois moins élevé
Commencez à créer votre solution d'IA générative
Quatre modèles d'architecture permettent d'élaborer une solution basée sur un grand modèle de langage : l'ingénierie de prompt, la génération augmentée par récupération (RAG), le réglage fin (fine-tuning) et le pré-entraînement. Databricks est le seul fournisseur à prendre en charge les quatre modèles d'architecture d'IA générative. Pour vous, c'est l'assurance d'avoir toutes les options à portée de main et de pouvoir évoluer en fonction des besoins de votre activité.
Un contrôle total sur vos modèles et vos données
Mosaic AI fait partie de la Data Intelligence Platform de Databricks, qui rassemble les données, l'entraînement des modèles et les environnements de production au sein d'une solution unique. Vous pouvez utiliser vos données internes en toute sécurité pour augmenter, ajuster ou développer vos propres modèles de machine learning ou d'IA générative, de façon à les enrichir d'une compréhension sémantique de votre activité, sans que vos données et votre propriété intellectuelle n'aient à quitter vos locaux.
Centralisez le déploiement et la gouvernance de tous vos modèles d'IA
Model Serving est un service unifié pour le déploiement, la gouvernance et l'interrogation des modèles d'IA. Notre approche unifiée facilite l'expérimentation et la mise en production des modèles. Sont concernés :
- Les modèles ML personnalisés tels que PyFunc, scikit-learn et LangChain
- Les modèles de fondation (FM) sur Databricks tels que Llama 2, MPT, Mistral et BGE
- Les modèles de fondation hébergés ailleurs tels que ChatGPT, Claude 2, Cohere et Stable Diffusion
Centralisez la supervision des données, des fonctionnalités et des modèles d'IA
Lakehouse Monitoring fournit une solution de supervision unifiée au sein même de la Data Intelligence Platform de Databricks. Elle surveille les propriétés statistiques et la qualité de toutes les tables en un clic. Dans le cas des applications basées sur l'IA générative, elle peut analyser les sorties pour détecter les contenus toxiques ou dangereux et diagnostiquer les erreurs.
Encadrez et suivez le data lineage sur l'ensemble du cycle de vie de l'IA, depuis les données jusqu'aux modèles
Appliquez des autorisations rigoureuses et des limites de débit. Tracez le data lineage pour respecter les exigences de sécurité et de gouvernance les plus strictes. Tous les assets de ML, des données aux modèles, peuvent être régis à l'aide d'un outil unique : Unity Catalog. Il garantit une supervision cohérente et un contrôle constant à chaque étape du cycle de vie du ML : développement, déploiement et maintenance.
Entraînez vos LLM personnalisés et mettez-les à disposition pour un coût dix fois moins élevé
Avec Mosaic AI, vous pouvez développer votre propre LLM personnalisé à partir de zéro. Vous aurez ainsi l'assurance que les connaissances fondatrices du modèle sont en phase avec votre domaine d'intérêt. Comme vous l'entraînez à l'aide de la propriété intellectuelle et des données de votre organisation, vous obtenez un modèle personnalisé et unique. Databricks Mosaic AI Training est une solution d'entraînement optimisée. Il peut créer en quelques jours de nouveaux LLM possédant plusieurs milliards de paramètres, pour un coût d'entraînement dix fois plus faible.
Les composants du produit
Notebooks collaboratifs
Les notebooks Databricks prennent nativement en charge Python, R, SQL et Scala. Les utilisateurs peuvent ainsi travailler avec les langages et bibliothèques de leur choix pour extraire, visualiser et partager des informations.
Runtime pour le machine learning
Accès en un clic à des clusters ML préconfigurés, optimisés et basés sur une distribution évolutive et fiable des frameworks ML les plus populaires (tels que PyTorch, TensorFlow et scikit-learn), avec des optimisations intégrées pour des performances inégalées dans toute l'entreprise.
Magasin de fonctionnalités
Facilitez la réutilisation des fonctionnalités grâce à une recherche de fonctionnalités basée sur le lignage de données exploitant les sources de données enregistrées automatiquement. Rendez vos fonctionnalités disponibles pour l'apprentissage grâce à un déploiement de modèle simplifié ne nécessitant pas de modification de l'application client.
AutoML
Offrez à chacun, des experts du ML aux data scientists, une approche « Glass box » de l'AutoML fournissant non seulement le modèle le plus performant mais générant aussi un code qui sera par la suite affiné par des experts.
Mlflow administré
Conçu à partir de MLflow - la première plateforme open source au monde pour le cycle de vie du ML - Managed MLflow aide les modèles ML à passer rapidement de la phase de test à la production, avec un haut niveau de sécurité, de fiabilité et d'évolutivité à l'échelle de l'entreprise.
Mise à disposition de modèles de niveau production
Diffusez des modèles à n'importe quelle échelle et en un clic grâce à l'option de calcul serverless.
Supervision des modèles
Surveillez les performances des modèles et leur incidence sur les indicateurs de l’entreprise en temps réel. Databricks offre une visibilité et une traçabilité de bout en bout, des modèles en production aux systèmes de données source. La plateforme permet d'analyser le modèle et la qualité des données tout au long du cycle de vie du machine learning, facilitant l'identification des problèmes avant qu'ils n'aient un impact.
Référentiels
Repos permet aux ingénieurs de suivre les workflows Git dans Databricks. Ainsi, les équipes data peuvent exploiter les workflows de CI / CD automatisés et la portabilité du code.
Grands modèles de langage
Databricks facilite le déploiement, la gouvernance, l'interrogation et la surveillance de l'accès aux LLM, tout en simplifiant leur intégration à vos workflows. Ses capacités de plateforme permettent d'augmenter (RAG) ou d'affiner les LLM à partir de vos propres données, pour de meilleures performances de domaine. Nous proposons également des outils optimisés pour pré-entraîner vos LLM en quelques jours seulement, à un coût dix fois inférieur.
