Το Kestra είναι μια πλατφόρμα ενορχήστρωσης δεδομένων ανοιχτού κώδικα για πολύπλοκες ροές εργασίας

Συναντώ

Κέστρα

, μια

startup

που εργάζεται σε ένα έργο ανοιχτού κώδικα που επικεντρώνεται στην ενορχήστρωση δεδομένων σε διάφορες υπηρεσίες, βάσεις δεδομένων, αρχεία, αποθετήρια και αποθήκες. Το έργο ανοιχτού κώδικα έχει προσελκύσει

χιλιάδες αστέρια

στο GitHub, αποδεικνύοντας ότι υπάρχει κάποιο ενδιαφέρον και δυνατότητες πίσω από μια νέα πλατφόρμα ενορχήστρωσης δεδομένων.

Αλλά πρώτα, γιατί χρειάζεστε ένα προϊόν ενορχήστρωσης δεδομένων στη μεγάλη εταιρεία σας; Σε κάποιο σημείο, οι μεγάλες εταιρείες αρχίζουν να έχουν δεδομένα κατανεμημένα σε διάφορες τοποθεσίες αποθήκευσης. Ορισμένα δεδομένα πελάτη μπορούν να αποθηκευτούν σε ένα παλαιού τύπου ERP, νέες παραγγελίες ενδέχεται να εμφανιστούν σε μια βάση δεδομένων στην υποδομή cloud, κ.λπ.

Με έναν ενορχηστρωτή δεδομένων, μπορείτε να εξαγάγετε, να μετασχηματίσετε και να φορτώσετε δεδομένα (ή να εξαγάγετε, να φορτώσετε και να μετασχηματίσετε δεδομένα) έτσι ώστε όλα τα δεδομένα σας να ενοποιούνται και να αποθηκεύονται σε μια ενιαία τοποθεσία, όπως μια αποθήκη δεδομένων (Snowflake, Google BigQuery κ.λπ.) . Πολλοί μηχανικοί δεδομένων έχουν χρησιμοποιήσει εργαλεία όπως

Airbyte

ως πλατφόρμα ενσωμάτωσης δεδομένων και ενορχηστρωτής για το συντονισμό και τη δημιουργία ερεθισμάτων.

Ο καλύτερος τρόπος να περιγράψεις το Kestra είναι να προσδιορίσεις γιατί είναι διαφορετικό από αυτό που υπάρχει εκεί έξω. Εάν είστε εξοικειωμένοι με

Ροή αέρα Apache

το Kestra μπορεί να χρησιμοποιηθεί ως εναλλακτική λύση στο Airflow με μερικές σημαντικές διαφορές.

Αντί να χρησιμοποιεί κώδικα Python, το Kestra βασίζεται σε αρχεία διαμόρφωσης YAML — και αν έχετε παίξει με εικόνες Docker κάποια στιγμή, μπορεί να είστε ήδη εξοικειωμένοι με το YAML.

Το API της Kestra αντιμετωπίζεται ως πολίτης πρώτης κατηγορίας, πράγμα που σημαίνει ότι ενσωματώνεται καλά με άλλα εργαλεία και συστήματα. Με άλλα λόγια, το Kestra έχει σχεδιαστεί για να είναι αγνωστικό στη γλώσσα χάρη στη χρήση YAML για ενορχήστρωση και τη δυνατότητα αλλαγής ροών εργασίας και δημιουργίας εργασιών χρησιμοποιώντας το API του Kestra.

Και ο λόγος που η Kestra φέρνει το

μοντέλο υποδομής ως κώδικα

Η ενορχήστρωση δεδομένων οφείλεται στο ότι η εκκίνηση πιστεύει ότι η διαχείριση δεδομένων πρέπει να γίνεται από όλους τους μηχανικούς και τους επιχειρησιακούς χρήστες αντί για μια συγκεκριμένη ομάδα μηχανικών δεδομένων.

Πέρα από αυτή την άποψη, η Kestra έχει μια σταθερή

βιβλιοθήκη ενσωματώσεων

με επίσημες προσθήκες για μεγάλους παρόχους cloud (AWS,

Azure

και Google Cloud), αποθήκες δεδομένων (Snowflake και BigQuery), dbt για μετασχηματισμό δεδομένων, Airbyte για ενοποίηση δεδομένων και πολλά άλλα.

Το Kestra διαθέτει επίσης μια διεπαφή χρήστη που διευκολύνει τη δημιουργία προγραμματισμένων και βασιζόμενων σε συμβάντα ροών εργασίας (“αν συμβεί αυτό, κάντε το”). Με αυτήν τη διεπαφή χρήστη, οι επιχειρησιακοί χρήστες μπορούν επίσης να βασίζονται στο Kestra για τη δημιουργία ερωτημάτων SQL και τη δημιουργία εσωτερικών εργαλείων για εσωτερικές αναφορές.

Με κατ

αγωγή

από τη Γαλλία και συνιδρυτή από τους Emmanuel Darras και Ludovic Dehon, η Kestra συγκέντρωσε 3 εκατομμύρια δολάρια σε έναν κύκλο εκκίνησης με επικεφαλής την ISAI και την Axeleo Capital. Στο γύρο συμμετείχαν επίσης αρκετοί άγγελοι

επενδυτές

, όπως ο Olivier Pomel από την Datadog, ο Stan Christians από την Collibra, ο Pierre Burgy από το Strapi και ο Olivier Bonnet από την BlaBlaCar.

Εκτός από τον ενορχηστρωτή ανοιχτού κώδικα, ο Kestra έχει επίσης ένα

εταιρική έκδοση

και αρκετούς μεγάλους πελάτες που βασίζονται στο Kestra για να χειρίζονται εκατομμύρια εκδηλώσεις ενορχήστρωσης τον μήνα, όπως οι Leroy Merlin, Huawei, Acxiom, Tencent, Gorgias, Sophia

Genetics

και Decathlon.

Ο τελικός στόχος του Kestra είναι να δημιουργήσει ένα εργαλείο ενορχήστρωσης που μπορεί να χρησιμοποιηθεί για όλες τις ανάγκες ενορχήστρωσης — όχι μόνο για ενορχήστρωση δεδομένων. Πολλές εταιρείες καταλήγουν να δημιουργούν συγκεκριμένες ομάδες εξειδικευμένες στην ενορχήστρωση δεδομένων, την ενορχήστρωση μικροϋπηρεσιών, τις υποδομές και πολλά άλλα. Η Kestra θέλει να δημιουργήσει μια ενιαία πλατφόρμα που μπορεί να χρησιμοποιηθεί με ευέλικτο τρόπο από όλους όσους εργάζονται σε αυτές τις εργασίες.