'Les valeurs séparées par des virgules (CSV) sont l'un des formats de données les plus polyvalents et les plus faciles à utiliser. Il s'agit d'un format de données léger qui permet aux développeurs et aux applications de transférer et d'analyser des données d'une source à une autre.
Les données CSV stockent les données dans un format tabulaire où chaque colonne est séparée par une virgule et un nouvel enregistrement est attribué à une nouvelle ligne. Cela en fait un très bon choix pour l'exportation de bases de données telles que les bases de données SQL, les données Cassandra, etc.
Il n'est donc pas surprenant que vous rencontriez un scénario dans lequel vous devez importer un fichier CSV dans votre base de données.
L'objectif de ce didacticiel est de vous montrer une méthode simple et rapide d'importation d'un fichier CSV dans votre cluster Elasticsearch à l'aide du tableau de bord Kibana.
Lançons-nous.
Conditions
Avant de plonger, assurez-vous d'avoir les exigences suivantes :
- Un cluster Elasticsearch avec un état de santé vert.
- Serveur Kibana connecté à votre cluster Elasticsearch.
- Autorisations suffisantes pour gérer les index sur votre cluster.
Exemple de fichier CSV
Comme d'habitude, la première exigence est votre fichier CSV source. Il est bon de s'assurer que les données de votre fichier CSV sont bien formatées et qu'elles ne contiennent aucune erreur.
À des fins d'illustration, nous utiliserons un ensemble de données gratuit contenant des films et des émissions de télévision d'Amazon Prime.
Ouvrez votre navigateur et accédez à la ressource ci-dessous :
https://www.kaggle.com/datasets/shivamb/amazon-prime-movies-and-tv-shows
Suivez la procédure pour télécharger le jeu de données sur votre ordinateur local. Vous pouvez extraire l'archive téléchargée avec la commande :
$ décompresser un ~ / Téléchargements / archive.zip
Importer un fichier CSV
Une fois que vous avez votre fichier source prêt, nous pouvons continuer et discuter de la façon de l'importer.
Commencez par vous rendre sur votre tableau de bord d'accueil Kibana et sélectionnez l'option 'télécharger un fichier'.
Localisez le fichier CSV cible que vous souhaitez importer dans la fenêtre du lanceur.
Sélectionnez votre fichier source et cliquez sur télécharger.
Autorisez Elasticsearch et Kibana à analyser le fichier téléchargé. Cela analysera le fichier CSV et déterminera le format des données, les champs, les types de données, etc.
REMARQUE : Selon la configuration de votre cluster et la taille des données, ce processus peut prendre un certain temps. Assurez-vous que le nœud maître répond pour éviter les dépassements de délai.
Une fois le processus terminé, vous devriez obtenir un échantillon du contenu de votre fichier et les statistiques du fichier telles qu'analysées par Elastic.
Vous pouvez personnaliser de nombreux paramètres, par exemple le délimiteur, les lignes d'en-tête, etc. Par exemple, nous pouvons personnaliser la sortie ci-dessus pour indiquer à Elastic que notre fichier CSV contient des fichiers d'en-tête.
Nous pouvons ensuite cliquer sur appliquer et ré-analyser les données. Cela devrait formater les données dans le format correct, y compris les champs.
Ensuite, nous pouvons cliquer sur importer pour passer au tableau de bord importé.
Ici, nous devons créer un index dans lequel les données CSV sont stockées. Vous pouvez attribuer n'importe quel nom pris en charge à votre index.
Si vous souhaitez personnaliser les propriétés de votre index, telles que le nombre de partitions, de répliques, de mappages, etc. Sélectionnez l'option avancée et modifiez vos paramètres à votre guise.
Enfin, cliquez sur importer et regardez Kibana faire sa « magie ». Une fois terminé, vous pouvez accéder à votre index via l'API Elasticsearch ou utiliser le tableau de bord Kibana.
Et vous avez terminé !!
Conclusion
Dans cet article, nous avons couvert le processus de récupération et d'importation de votre ensemble de données CSV dans votre cluster Elasticsearch à l'aide du tableau de bord Kibana.
Merci d'avoir lu et bon codage !!