Tasks et Artefacts

Les tasks sont des unités de traitement. Elles peuvent être une transformation DBT, un flow, ou un code personnalisé. Les artefacts sont quant à eux des matérialisations de tasks qui en font des unités réutilisables.

Liste des tâches

Dans cette première fenêtre, on retrouve la liste des tasks exécutées ou en cours d’exécution. La liste comporte les tasks des 14 derniers jours, mais il est possible de consulter les archives des tasks plus anciennes au niveau du storage (“Navigateur de stockage”) dans le bucket “*-task-archives”.

Détails d’une tâche

En cliquant sur une task, il est possible de consulter les détails de celle-ci et d’accéder notamment aux logs d’exécution.

Liste des artefacts

Cette liste vous permet d’avoir une vision sur tous les artefacts présents dans votre projet. Il peut s’agir d’artefacts de type :

Flow singer, créé à partir du module “Flows”
Commande DBT, créée à partir du module “Transformation”
Personnalisé, il s’agit d’un code spécifique encapsulé dans un artefact

Détails d’un artefact

Sur la page détaillant l’artefact, vous pouvez lancer une task depuis cet artefact, voir les dernières tasks exécutées, ou encore créer un ou plusieurs “triggers” pour automatiser l’exécution à l’aide d’une expression cron.

Création d’un artefact

Pour créer un nouvel artefact, il faut compléter le formulaire. Pour l’image, deux choix sont possibles :

Utiliser une image déjà existante. Cela peut être une image privée définie sur le registre de votre fournisseur cloud, ou une image publique depuis un autre registre (ex: Docker Hub). Si vous choisissez cette option, il n’est pas nécessaire de remplir les champs “Git URL”, “Git branch” et “Code path”.
Vous souhaitez que l’image soit construite depuis un Dockerfile présent dans votre espace Git. Pour cela, vous pouvez laisser le champ “Image” vide et remplir les trois champs suivants :
1. Git URL : L’URL de votre répertoire git (la même qui est utilisée pour cloner un répertoire en local).
2. Git branch : La branche sur laquelle se trouve la version souhaitée de votre code.
3. Code path : Le chemin de l’emplacement où se trouve votre Dockerfile. Dans l’exemple ci-dessus, le chemin est “fibonacci”, ce qui correspond à l’emplacement du Dockerfile de l’image ci-dessous.

Structure du répertoire git

Contenu

</aside>