Formations Snowflake, dbt et AWS, par où commencer

Si tu suis mon blog, tu as sûrement vu passer les trois formations gratuites sur Snowflake, dbt et AWS Data. Chacune se suit seule, avec ses propres prérequis.

Elles n'ont pas le même rôle. Snowflake et dbt travaillent ensemble, dbt transforme les données directement dans Snowflake. AWS se situe à un autre niveau. C'est l'un des cloud providers sur lesquels Snowflake s'installe, et la formation porte sur ses propres services data.

Je commence par clarifier qui fait quoi, puis je présente chaque formation et l'ordre que je conseille selon ton profil.

Qui fait quoi entre Snowflake, dbt et AWS

Snowflake est un service SaaS qui s'installe chez l'un des trois gros cloud providers, AWS, Azure ou GCP. On choisit le provider et la région à la création du compte, et Snowflake s'occupe de l'infrastructure.

Côté stockage, il y a deux options. Par défaut, les tables sont dans le stockage géré par Snowflake, au format propriétaire en micro-partitions donc Snowflake gère tout, et on n'accède à ces données que par Snowflake.

L'autre option, c'est le stockage ouvert avec les tables Iceberg. Les fichiers restent dans le stockage de l'entreprise, par exemple un bucket S3 sur AWS, au format Apache Iceberg. Snowflake va chercher les données à cet endroit, et d'autres moteurs comme Athena ou Spark peuvent lire les mêmes tables.

dbt, lui, ne stocke rien. Il envoie du SQL à Snowflake, qui exécute les transformations avec ses warehouses.

C'est dans ce deuxième cas que la formation AWS devient utile à côté de Snowflake. Quand les tables Iceberg sont sur S3, les modules sur S3, IAM et le Glue Data Catalog aident à comprendre où sont les fichiers et qui y a accès.

Snowflake, l'entrepôt où arrivent les données

Snowflake, c'est le data warehouse. C'est là qu'on charge les données et qu'on les requête en SQL. La formation Snowflake compte 37 modules, pour environ 10 à 11 heures de lecture.

On commence par les bases, avec l'architecture, les virtual warehouses, les types de tables, le Time Travel et le Zero-Copy Clone. Ensuite ça monte en niveau avec la performance (Query Profile, clustering), le SQL avancé (fonctions window, jointures ASOF, SCD) et la sécurité, des rôles système jusqu'au masquage dynamique.

Deux blocs reviennent tout le temps en projet. L'ingestion (stages, file formats, Snowpipe) montre comment charger des fichiers dans des tables. L'incrémental (Streams, Tasks, Dynamic Tables) sert à traiter les nouvelles lignes sans tout recharger, la même logique que les modèles incremental de dbt.

Le parcours se termine sur Iceberg, Cortex AI, le Data Sharing et un bonus FinOps.

Je conseille vivement de créer un compte d'essai Snowflake avant de commencer. Tous les exemples SQL se testent directement.

dbt, pour transformer les données dans Snowflake

Une fois les données dans Snowflake, il faut les nettoyer et les modéliser. C'est le rôle de dbt.

La formation dbt tourne entièrement sur Snowflake, avec un projet complet sur GitHub (dbt_project) que tu peux cloner. Elle compte 16 modules en deux paliers.

Le premier palier va de l'installation de dbt Fusion à la mise en production. On y déclare les sources, on monte la couche de staging et on choisit les matérialisations, puis viennent les tests, la doc et les seeds.

Le second palier couvre ce qu'on attend d'un analytics engineer en entreprise, avec les modèles incremental, les snapshots pour le SCD Type 2, les macros Jinja et les packages. Les derniers modules traitent des contracts, des unit tests et de la CI/CD avec Slim CI.

D'ailleurs, si tu as fait le module SCD de la formation Snowflake, tu vas vite voir l'intérêt des snapshots. dbt gère tout seul l'historisation que tu écrivais à la main.

Le SQL suffit pour démarrer. Les bases de Snowflake aident, sans être obligatoires.

AWS, les services data du cloud

La formation AWS Data porte sur les services data d'AWS, de S3 à Redshift. Les modules principaux n'utilisent pas Snowflake. La formation part de zéro et suit le même dataset e-commerce d'un module à l'autre.

Le premier palier pose les bases, avec la création du compte (MFA, IAM, alerte budget), l'installation de la CLI et l'organisation du data lake S3 en zones raw, clean et curated. Le Glue Data Catalog le rend ensuite requêtable.

Le deuxième palier passe au SQL avec Athena et montre concrètement ce que Parquet et le partitionnement changent sur la donnée scannée, donc sur la facture. Viennent ensuite le nettoyage avec Glue ETL en PySpark, une Lambda déclenchée à l'arrivée d'un fichier et Redshift Serverless.

Le dernier palier industrialise le tout, avec l'orchestration (Step Functions, EventBridge), la sécurité (IAM, Lake Formation, KMS) et un module FinOps pour lire la facture et nettoyer le compte.

Prévois un peu de Python pour les modules boto3, Glue et Lambda.

Par où commencer

Je conseille de commencer par Snowflake. C'est le socle, et la formation dbt tourne dessus. La formation AWS se suit à part, selon les services utilisés dans l'entreprise.

Si tu vises un poste d'analytics engineer, Snowflake et dbt suffisent pour démarrer. Si tu vises plutôt data engineer, ajoute AWS, avec de Python en plus.

Pourquoi apprendre ces trois outils aujourd'hui

Sur les offres de missions autour de Snowflake, dbt revient presque à chaque fois. Les deux vont ensemble. Snowflake stocke et calcule, dbt organise les transformations en SQL.

Ce que dbt apporte, ce sont les réflexes du développement logiciel. Le code est dans Git, chaque modèle a ses tests et une modif passe par la CI avant d'arriver en prod. Quand le projet grossit, le lineage permet de retrouver d'où vient un chiffre.

Pour AWS, l'intérêt dépend du contexte. Dans une entreprise qui construit ses pipelines avec Glue, Athena ou Redshift, ces services font partie du quotidien.

Sur mes missions, les équipes data font quatre ou cinq personnes. À cette taille, je trouve que ça aide beaucoup de comprendre l'étape d'avant et celle d'après, même si ce n'est pas toi qui t'en occupes.

Chaque formation prépare aussi à une certification, avec des examens blancs en français sur datacertification.fr.