Un entrepôt de données est une base de données centrale où arrivent toutes vos données (statistiques, CRM, publicité, e-mail, ventes). Au lieu de relier les outils deux à deux, chaque outil envoie ses données à l'entrepôt. L'entrepôt devient l'unique source de vérité. Les outils de reporting et les équipes y puisent leurs données, au lieu de passer par chaque outil. Cela supprime les silos et permet des analyses complexes entre outils. Ce chapitre explique quand et comment créer un entrepôt de données.
Ce qu'est et ce que fait un entrepôt de données
Un entrepôt de données se compose de : (1) une base de données centrale (BigQuery, par exemple), (2) des flux de données qui amènent les données des outils vers l'entrepôt, (3) des schémas qui organisent les données de façon cohérente, (4) une couche d'accès où les analystes et les outils interrogent l'entrepôt.
Avantages : une seule source de vérité, des requêtes flexibles (sans limite aux rapports intégrés d'un outil), la conservation de l'historique, un coût maîtrisé à grande échelle (moins cher que de payer le stockage dans chaque outil), la possibilité d'analyses avancées (apprentissage automatique, prédictions).
L'architecture d'un entrepôt de données
Couche brute : copie exacte des données des systèmes sources. Aucune transformation. Elle conserve les données d'origine au cas où il faudrait les retraiter.
Couche intermédiaire : les données sont nettoyées, dédoublonnées, validées. Les incohérences sont corrigées. Les données sont cohérentes mais pas encore prêtes pour l'analyse.
Couche d'analyse : les données sont transformées en tables conçues pour l'analyse. Exemples : tables de faits (conversions reliées aux autres dimensions), tables de dimensions (clients, produits, campagnes). C'est ce que les analystes interrogent.
Mettre en place un entrepôt de données
Étape 1 : choisissez votre plateforme d'entrepôt.
BigQuery (Google) : simple, adapté à la plupart des entreprises, facturé au Go interrogé.
Entrepôts cloud haut de gamme : puissants et chers, adaptés aux grandes entreprises aux besoins complexes.
Entrepôts cloud d'un grand fournisseur d'hébergement : puissants, moins chers que les précédents à grande échelle.
Base de données open source classique : gratuite, adaptée aux volumes de données petits à moyens.
Étape 2 : extrayez les données de vos outils.
Utilisez des outils ETL (Extract-Transform-Load, extraire, transformer, charger). Ces outils se connectent à vos systèmes sources et copient les données vers l'entrepôt automatiquement (chaque jour, chaque heure ou en temps réel).
Étape 3 : concevez votre schéma.
Définissez les tables et leurs relations : table des clients, table des commandes, table des lignes de commande, table des campagnes. Comment sont-elles reliées ? Cette conception détermine les questions auxquelles vous pourrez répondre efficacement.
Étape 4 : définissez les accès et la gouvernance.
Qui peut interroger l'entrepôt ? Ont-ils accès à toutes les données ou seulement à celles de leur service ? Définissez les droits. Documentez le schéma pour que les analystes sachent ce que signifient les données. Surveillez les requêtes pour garder de bonnes performances.
Quand créer un entrepôt de données
Trop tôt : 1 à 2 outils, équipe de 3 personnes. La charge est trop élevée.
Le bon moment : plus de 5 outils, équipe de plus de 5 personnes, questions complexes entre plusieurs outils posées régulièrement. Le coût de l'entrepôt est justifié par le temps gagné et les enseignements obtenus.
Indispensable : plus de 10 outils, équipe de plus de 10 personnes, culture fondée sur les données. L'entrepôt devient une infrastructure nécessaire.
Les difficultés de la mise en place d'un entrepôt de données
Complexité : les entrepôts sont techniquement complexes. Ils demandent des ingénieurs de données pour les maintenir. C'est un défi de recrutement pour les petites entreprises.
Qualité des données : des données médiocres en entrée donnent des résultats médiocres. De mauvaises données dans l'entrepôt mènent à de mauvaises conclusions. La validation et le nettoyage des données sont essentiels.
Coût : cela peut coûter cher (BigQuery peut coûter 100 à 1 000 $ et plus par mois à grande échelle). Il faut de l'optimisation et de la gouvernance pour maîtriser les coûts.
Dois-je créer un entrepôt de données ou utiliser les intégrations d'un outil de BI ?
Intégrations d'un outil de BI : simples, rapides à mettre en place (quelques heures), personnalisation limitée. Entrepôt : plus de travail à mettre en place (semaines ou mois), très flexible, évolutif. Pour 3 à 4 outils, les intégrations de BI suffisent. Pour plus de 5 outils ou des analyses complexes, l'entrepôt en vaut la peine. Commencez par les intégrations ; passez à l'entrepôt quand elles ne suffisent plus.
Combien coûte un entrepôt de données ?
BigQuery : 6,25 $ par To interrogé (approximatif). Entrepôts cloud haut de gamme : 2 à 4 $ par crédit de calcul utilisé (selon la taille de l'entrepôt). Entrepôts d'un grand fournisseur d'hébergement : 1 à 4 $ par heure. Les coûts varient selon le volume de données et la complexité des requêtes. Pour la plupart des entreprises : 500 à 2 000 $ par mois à grande échelle. Pour les petites entreprises : 50 à 500 $ par mois. Prévoyez le budget du travail d'ingénierie des données (la partie la plus chère).
Quelle est la différence entre un entrepôt de données et un lac de données ?
Entrepôt : structuré, nettoyé, optimisé pour les requêtes. Lac : non structuré, brut, stocke tout (moins cher). Les entrepôts servent à l'analyse. Les lacs servent au stockage de données brutes. Approche moderne : lac + entrepôt (données brutes dans le lac, données nettoyées dans l'entrepôt). Commencez par l'entrepôt ; passez au lac si les coûts de stockage explosent.
Comment garantir la qualité des données dans mon entrepôt ?
Règles de validation : cherchez les doublons, les valeurs nulles, les valeurs hors plage. Testez les flux de données : les totaux correspondent-ils aux attentes ? Faites des audits réguliers : comparez les totaux de l'entrepôt à ceux des systèmes sources. Corrigez les écarts. Documentez les anomalies. Confiez la qualité des données à une personne ou à une équipe.
Puis-je interroger mon entrepôt pour répondre à des questions ponctuelles sans être ingénieur de données ?
Oui, si le schéma est bien conçu et documenté. Écrivez des requêtes SQL pour répondre aux questions. Pour les personnes non techniques : utilisez des outils de BI avec des tableaux de bord prêts à l'emploi. Pour les questions plus ponctuelles : des ingénieurs de données ou des ingénieurs analytiques écrivent le SQL. Recrutez un profil d'ingénierie analytique (à mi-chemin entre ingénierie des données et analyse) pour ouvrir l'accès à tous.
À quelle fréquence les données doivent-elles se mettre à jour dans mon entrepôt ?
Une fois par jour est la norme (pendant la nuit). Le temps réel est possible mais coûteux. Pour la plupart des analyses, le quotidien suffit. Pour des tableaux de bord opérationnels (pipeline de ventes), un rythme horaire ou en temps réel peut être nécessaire. Commencez par le quotidien ; passez à l'horaire seulement si l'activité l'exige et peut le financer.