Comment stocker et visualiser des données dans Snowflake ?

A travers, ce tutoriel pas-à-pas nous souhaitions vous montrer comment stocker et visualiser des données dans Snowflake.

Ici, on utilisera l’interface web de Snowflake, mais notez qu’il est également possible de réaliser les actions à partir du terminal de l’éditeur qui est SnowSQL.
Avant de commencer, il est essentiel de disposer d’un compte Snowflake

Snowflake propose une version d’essai en s’inscrivant simplement sur le lien suivant :  https://trial.snowflake.com/

Au moment de choisir l’édition, choisissez l’édition Entreprise pour disposer d’un grand nombre de fonctionnalités.

Pour connaître la différence entre les différentes versions, suivez le lien suivant: https://docs.snowflake.com/fr/user-guide/intro-editions.html#enterprise-edition

Télécharger le fichier “csv” dans lequel chaque ligne sera stockée dans Snowflake.
Ce fichier regroupe les commandes d’une enseigne d’une grande distribution.
Le fichier .csv est composé de six colonnes séparées par des “;”

Stockage des données du fichier csv dans Snowflake

Pour stocker et interroger les données dans Snowflake, il sera nécessaire de créer une base de données, une table et un entrepôt de données virtuel.

Connexion à l’interface web Snowflake

Lors de l’inscription, vous vous êtes connecté une première fois sur l’interface web Snowflake avec un lien URL personnel.
Le format du lien URL à le squelette suivant:  https://cp76690.europe-west4.gcp.snowflakecomputing.com
Les lettres surlignées correspondent au nom de compte. Il est unique.
Connectez-vous à votre interface web Snowflake depuis votre lien personnel: https://<nom_de_compte>.snowflakecomputing.com/console#/data/stages?databaseName=MYDATABASE
Renseigner le nom d’utilisateur et le mot de passe

Après la connexion, vous devriez arriver sur l’un des onglets disponible, de l’interface Web Snowflake :

Pour charger les données, une base de données et une table sont nécessaires. Aussi, il y aura besoin d’un entrepôt virtuel pour fournir les ressources de calcul nécessaires pour effectuer les tâches.
Les parties qui suivent vous explique comment créer ça.

Stocker et visualiser des données dans Snowflake : création d’une base de données

Cliquer sur le bouton  puis cliquer sur le bouton  pour créer une nouvelle base de données.
Sur la nouvelle fenêtre, renseigner un nom à la base de données en écrivant DEMO_BDD puis cliquer sur Finish.
Cliquer sur Show SQL, si vous souhaitez voir la requête SQL.

Chaque base de données créée dans Snowflake contient un schéma par défaut qui s’appelle public.

Stocker et visualiser des données dans Snowflake : création d’une table

Cliquer sur le nom de la table DEMO_BDD pour rentrer dans la base de données.
Puis, cliquer sur le bouton pour créer une nouvelle table.

Dans la nouvelle fenêtre, remplir le champ Table Name en renseignant le nom Commandes.
Garder le schéma PUBLIC
Ajouter les colonnes comme sur l’image ci-dessous en cliquant sur le bouton .
Les colonnes correspondent à ceux présentent dans le fichier csv.

Cliquer sur Show SQL, si vous souhaitez voir la requête SQL.
Cliquer sur Finish

Stocker et visualiser des données dans Snowflake : Création d’un entrepôt de données virtuel

Pour créer un entrepôt virtuel, naviguez vers l’onglet Datawarehouses en cliquant sur le bouton  dans le menu en haut à gauche de l’interface.
Cliquer sur le bouton pour créer un nouveau Datawarehouse.
Sur la nouvelle fenêtre, dans le champ Name, écrire DEMO_ENTREPOT pour nommer le datawarehouse.
Dans le menu déroulant suivant, choisir X-SMALL pour le champ size. Pour avoir plus d’information sur les tailles des entrepôts de données, suivre le lien suivant: https://docs.snowflake.com/en/user-guide/warehouses-overview.html

L’utilisation des datawarehouses dans Snowflake consomme des crédits. Grâce à l’utilisation de ces crédits Snowflake peut facturer le client. Ainsi, le client ne paye que ce qu’il utilise. L’utilisation d’un entrepôt de données permet pour la suite du tutoriel d’exécuter des requêtes.

Dans le champ Maximum Clusters, choisir 1.
Garder le champ Scaling Policy à STANDARD
Changer le champ Auto Suspend à 5 minutes. Après 5 minutes d’inactivité, l’entrepôt s’arrête.
Maintenir coché le champ Auto Resume.
Cliquer sur le bouton Finish.

Stocker et visualiser des données dans Snowflake : préparation et chargement du fichier de données dans Snowflake

Pour prendre en charge les données du fichier csv par Snowflake, il faut intégrer les données dans une zone de préparation interne de l’outil. Ensuite, charger les données dans Snowflake.
Le chargement à partir d’une zone de préparation externe est pratique si les fichiers de données sont stocké dans des services de stockage sur cloud comme par exemple Amazon S3, Google Cloud Storage ou Microsoft Azure).

Dans cette partie, le tutoriel explique le téléchargement du fichier vers une zone de préparation de table interne, puis le chargement des données dans la base de données.

Aller dans l’onglet Databases en cliquant sur le bouton .
Sélectionner la base de données Demo_BDD. Ensuite, sélectionner la table COMMANDES
Cliquer sur le bouton pour charger les données du fichier dans la zone de préparation des fichiers puis dans la table cible.
Dans la nouvelle fenêtre, choisir l’entrepôt de données que vous avez créé “DEMO_ENTREPOT” puis cliquer sur Next.

Choisir l’emplacement où est sauvegardé le fichier csv pour le charger dans l’interface. Cliquer sur Select Files puis sélectionner le fichier commandes.csv.

Cliquer sur Next
Cliquer sur le bouton  pour créer un modèle de format de fichier csv.
Dans la nouvelle fenêtre, paramétrer comme sur l’image ci-dessous:

Interrogation des données

Visualisation des données chargées :

Pour vérifier et visualiser les données précédemment chargées, cliquez sur l’onglet Worksheets
Sur le worksheet, exécuter la requête: use DEMO_DB pour utiliser la base de données créée précédemment.

Résultat :

Ensuite, exécuter la requête suivante pour voir les données dans la table commande.

SELECT * FROM “DEMO_BDD”.”PUBLIC”.”COMMANDES”;

Au cours de ce tutoriel, vous avez appris à créer une base de données, une table, et un entrepôt virtuel. Puis à charger les données dans un espace de préparation avant de le charger dans la table.
Snowflake permet d’administrer les données d’une nouvelle façon dans le cloud mais les fondamentaux restent les mêmes que ce qu’on a l’habitude de faire sur une machine physique.

D’autres tutoriels expliquant la création et l’intégration de données sont aussi disponibles sur le site :

• Comment intégrer des données statiques dans ADI ?
• Comment intégrer des données depuis Oracle SQL Developer ?
• Comment implémenter une base de données SQL Server avec Automation Anywhere ?
• Comment extraire des données dans Talend ?

N’hésitez pas à regarder la vidéo de ce tutoriel sur notre chaîne Youtube.

Depuis plus de 15 ans maintenant, je travaille sur des sujets liés à la BI et à l’amélioration des processus. J’ai participé à un grand nombre de projets en tant que leader technique sur de nombreuses technologies. De nature pédagogue, je donne également des cours de langage de programmation.

N’hésitez pas à me faire un retour sur cet article ou à me contacter sur LinkedIn pour échanger sur ces sujets!

Alexis