Apache Airflow
 | |
| Autor | Maxime Beauchemin / Airbnb |
|---|---|
| Zhvillues | Apache Software Foundation |
| Versioni i parë | qershor 3, 2015 |
| Gjuhet e programimit | Python |
| Sistemi operativ | Windows, macOS, Linux |
| Përdoret për | Workflow management platform |
| Licenca | Apache License 2.0 |
| Faqja zyrtare | airflow |
Apache Airflow është një platformë e menaxhimit të rrjedhjes së punës me burim të hapur për pipat e inxhinierisë së të dhënave. Projekti filloi në Airbnb në tetor 2014 [1] si një zgjidhje për të menaxhuar për rrjedhjet e punëve gjithnjë e më të ndërlikuara. Krijimi i "Airflow"-t i lejoi Airbnb-së të autorizonte dhe planifikonte me anë të programimit rrjedhat e punës së tyre dhe t'i monitoronte ato nëpërmjet ndërfaqes së integruar të përdoruesit të "Airflow"-t. [2] [3] Që nga fillimi, projekti u bë me burim të hapur, duke u bërë një projekt Apache Incubator në Mars 2016 dhe një projekt i nivelit të lartë të Apache Software Foundation në janar 2019.
Airflow është shkruar në Python, dhe rrjedhjet e punës krijohen nëpërmjet skripteve Python. Airflow është projektuar sipas parimit të "konfigurimit si kod". Ndërsa platformat e tjera të rrjedhjes së punës "konfigurimi si kod" ekzistojnë duke përdorur gjuhë shënjimi si XML, përdorimi i Python-it u lejon zhvilluesve të importojnë librari dhe klasa për t'i ndihmuar ata të krijojnë punërrjedhjet e tyre.
Vështrim i përgjithshëm
[Redakto | Redakto nëpërmjet kodit]Airflow ka në zemër të saj grafin e drejtuar jociklik (DAG) për të menaxhuar orkestrimin e rrjedhës së punës. Detyrat dhe varësitë përcaktohen në Python dhe më pas Airflow menaxhon planifikimin dhe ekzekutimin. DAG-et mund të ekzekutohen ose sipas një orari të përcaktuar (p.sh. për orar ose ditor) ose bazuar mbi nxitësit e ngjarjeve të jashtme (p.sh. një skedar që shfaqet në Hive [4] ). Planifikuesit e mëparshëm të bazuar në DAG si Oozie dhe Azkaban prireshin të mbështeteshin në skedarë të shumtë konfigurimi dhe pemë të sistemit të skedarëve për të krijuar një DAG, ndërsa në Airflow, DAG-të shpesh mund të shkruhen në një skedar Python. [5]
Ofruesit e menaxhuar
[Redakto | Redakto nëpërmjet kodit]Tre ofrues të shquar ofrojnë shërbime ndihmëse rreth projektit bazë me burim të hapur. Astronomi ka ndërtuar një vegël SaaS dhe grupin e rrjedhës së ajrit që mund të vendoset nga Kubernetes që ndihmon me monitorimin, sinjalizimin, zhvillimin dhe menaxhimin e grupimeve. [6] Cloud Composer është një version i menaxhuar i Airflow që funksionon në Google Cloud Platform (GCP) dhe integrohet mirë me shërbimet e tjera GCP. [7] Duke filluar nga Nëntori 2020, Shërbimet Ueb të Amazon ofrojnë flukse pune të menaxhuara për Apache Airflow. [8]
Referime
[Redakto | Redakto nëpërmjet kodit]- ^ "Apache Airflow". Apache Airflow. Arkivuar nga origjinali më 12 gusht 2019. Marrë më 30 shtator 2019.
{{cite web}}: Mungon ose është bosh parametri|language=(Ndihmë!) - ^ Beauchemin, Maxime (2 qershor 2015). "Airflow: a workflow management platform". Medium. Arkivuar nga origjinali më 13 gusht 2019. Marrë më 30 shtator 2019.
{{cite web}}: Mungon ose është bosh parametri|language=(Ndihmë!) - ^ "Airflow". Arkivuar nga origjinali më 6 korrik 2019. Marrë më 30 shtator 2019.
{{cite web}}: Mungon ose është bosh parametri|language=(Ndihmë!) - ^ Trencseni, Marton (16 janar 2016). "Airflow review". BytePawn. Arkivuar nga origjinali më 28 shkurt 2019. Marrë më 1 tetor 2019.
{{cite web}}: Mungon ose është bosh parametri|language=(Ndihmë!) - ^ "AirflowProposal". Apache Software Foundation. 28 mars 2019. Marrë më 1 tetor 2019.
{{cite web}}: Mungon ose është bosh parametri|language=(Ndihmë!) - ^ Lipp, Cassie (13 korrik 2018). "Astronomer is Now the Apache Airflow Company". americaninno. Marrë më 18 shtator 2019.
{{cite web}}: Mungon ose është bosh parametri|language=(Ndihmë!) - ^ "Google launches Cloud Composer, a new workflow automation tool for developers". TechCrunch (në anglishte amerikane). Marrë më 2019-09-18.[lidhje e vdekur]
- ^ "Introducing Amazon Managed Workflows for Apache Airflow (MWAA)". Amazon Web Services (në anglishte amerikane). 2020-11-24. Marrë më 2020-12-17.