¿Qué es Airflow®? 

Apache Airflow® es una plataforma de código abierto para desarrollar, programar y supervisar flujos de trabajo por lotes. El framework Python extensible de Airflow permite crear flujos de trabajo compatibles con prácticamente cualquier tecnología. Una interfaz web ayuda a gestionar el estado de los flujos de trabajo. Airflow se puede implementar de diversas maneras, desde un único proceso en un portátil hasta una configuración distribuida para gestionar incluso los flujos de trabajo más grandes.

por Apache Airflow

Table of Contents

Flujos de trabajo como código 

La característica principal de los flujos de trabajo de Airflow es que todos se definen en código Python. Los flujos de trabajo como código cumplen varias funciones:

  • Dinámico : las canalizaciones de flujo de aire se configuran como código Python, lo que permite la generación de canalizaciones dinámicas.
  • Extensible : El framework Airflow® incluye operadores para conectar con numerosas tecnologías. Todos los componentes de Airflow son extensibles para adaptarse fácilmente a su entorno.
  • Flexible : la parametrización del flujo de trabajo está incorporada aprovechando el motor de plantillas Jinja .

Eche un vistazo al siguiente fragmento de código:

from datetime import datetime

from airflow import DAG
from airflow.decorators import task
from airflow.operators.bash import BashOperator

# A DAG represents a workflow, a collection of tasks
with DAG(dag_id="demo", start_date=datetime(2022, 1, 1), schedule="0 0 * * *") as dag:
    # Tasks are represented as operators
    hello = BashOperator(task_id="hello", bash_command="echo hello")

    @task()
    def airflow():
        print("airflow")

    # Set dependencies between tasks
    hello >> airflow()

Aquí lo ves:

  • Un DAG llamado “demo”, que comenzó el 1 de enero de 2022 y se ejecuta una vez al día. Un DAG es la representación de un flujo de trabajo en Airflow.
  • Dos tareas, un BashOperator que ejecuta un script Bash y una función Python definida usando el @taskdecorador
  • >>Entre las tareas se define una dependencia y se controla en qué orden se ejecutarán las tareas.

Airflow evalúa este script y ejecuta las tareas en el intervalo y orden establecidos. El estado del DAG de demostración se puede ver en la interfaz web:

Demostración de DAG en la vista de gráfico, que muestra el estado de una ejecución de DAG

Este ejemplo muestra un script simple de Bash y Python, pero estas tareas pueden ejecutar cualquier código arbitrario. Imagine ejecutar un trabajo de Spark, mover datos entre dos contenedores o enviar un correo electrónico. La misma estructura también se puede observar ejecutándose a lo largo del tiempo:

Demostración de DAG en la vista de cuadrícula, que muestra el estado de todas las ejecuciones de DAG

Cada columna representa una ejecución de DAG. Estas son dos de las vistas más utilizadas en Airflow, pero existen otras que permiten analizar en profundidad el estado de los flujos de trabajo.

¿Por qué Airflow®? 

Apache Airflow: Orquestación de flujos de trabajo simplificada

Airflow® es una plataforma de orquestación de flujos de trabajo por lotes. El framework Airflow contiene operadores para conectar con diversas tecnologías y es fácilmente extensible para integrarse con nuevas tecnologías. Si sus flujos de trabajo tienen un inicio y un fin definidos y se ejecutan a intervalos regulares, pueden programarse como un DAG Airflow.

Si prefieres programar en lugar de hacer clic, Airflow es la herramienta ideal. Los flujos de trabajo se definen como código Python, lo que significa:

  • Los flujos de trabajo se pueden almacenar en el control de versiones para que pueda volver a versiones anteriores
  • Los flujos de trabajo pueden ser desarrollados por varias personas simultáneamente
  • Se pueden escribir pruebas para validar la funcionalidad.
  • Los componentes son extensibles y se puede construir sobre una amplia colección de componentes existentes

La semántica completa de programación y ejecución permite definir fácilmente pipelines complejos que se ejecutan a intervalos regulares. El reabastecimiento permite (re)ejecutar pipelines con datos históricos tras modificar la lógica. Además, la posibilidad de reejecutar pipelines parciales tras resolver un error maximiza la eficiencia.

La interfaz de usuario de Airflow proporciona:

  1. Vistas en profundidad de dos cosas: Tuberías y Tareas
  1. Descripción general de sus tuberías a lo largo del tiempo

Desde la interfaz, puede inspeccionar registros y administrar tareas, por ejemplo, reintentar una tarea en caso de falla.

El código abierto de Airflow te permite trabajar con componentes desarrollados, probados y utilizados por muchas otras empresas de todo el mundo. En nuestra activa comunidad , encontrarás numerosos recursos útiles en forma de entradas de blog, artículos, conferencias, libros y más. Puedes conectar con otros compañeros a través de diversos canales, como Slack y listas de correo.

Airflow, como plataforma, es altamente personalizable. Al utilizar la interfaz pública de Airflow, puedes ampliar y personalizar prácticamente todos sus aspectos.

No Airflow®?

Airflow® se diseñó para flujos de trabajo con lotes finitos. Si bien la CLI y la API REST permiten activar flujos de trabajo, Airflow no se diseñó para flujos de trabajo basados ​​en eventos de ejecución infinita. Airflow no es una solución de streaming. Sin embargo, un sistema de streaming como Apache Kafka suele funcionar en conjunto con Apache Airflow. Kafka permite la ingesta y el procesamiento en tiempo real; los datos de eventos se escriben en una ubicación de almacenamiento y Airflow inicia periódicamente un flujo de trabajo que procesa un lote de datos.

Si prefieres hacer clic en lugar de programar, Airflow probablemente no sea la solución ideal. La interfaz web busca simplificar al máximo la gestión de flujos de trabajo y el framework Airflow se mejora continuamente para que la experiencia del desarrollador sea lo más fluida posible. Sin embargo, la filosofía de Airflow es definir los flujos de trabajo como código, por lo que siempre será necesario programar.

Fuente: https://airflow.apache.org/docs/apache-airflow/stable/index.html

Introducing Apache Airflow® 3.0

April 23, 2025 at 11am – 12pm ET

Airflow 3.0 is the most anticipated release yet for Apache Airflow®, the de facto standard for data orchestration used by 77,000+ organizations for everything from advanced analytics to production AI + MLOps. Four years in the making, this game-changing release includes the top requested features from the community, delivering a new UI making Airflow easier to use than ever, stronger security, and greater flexibility to run tasks anywhere at any time.

Join Airflow experts from Astronomer to learn everything you need to know about this release, including:

  • New major features including DAG versioning, backfills, dark mode, and asset-centric syntax
  • Overview of architecture changes improving task isolation and enabling remote execution
  • An in-depth technical demo showing how the major features work
  • Tips on upgrade preparedness and the most important breaking changes

Be among the first to see Airflow 3.0 in action and get your questions answered directly by the Astronomer team.

Hosted By

  • Kenten DanasManager, Developer RelationsAstronomer
  • Tamara FingerlinDeveloper AdvocateAstronomer
  • Kaxil NaikSr Director, Airflow EngineeringAstronomer
  • Vikram KokaChief Strategy OfficerAstronomer

Fuente: https://www.astronomer.io/events/webinars/introducing-apache-airflow-3-0-video/

Tagged:

Deja una respuesta