1046 - Data Engineer (Python/AWS/Snowflake) · Senior · Remote · ARG

Hace 4 días

córdoba, Colombia Darwoft Jornada completa

Disclaimer – Lectura obligatoria: Compromiso y dedicación
Este rol requiere dedicación full-time, con prioridad clara sobre los proyectos de Darwoft durante el horario laboral establecido. No es compatible con otros compromisos profesionales full-time. Cualquier actividad profesional adicional deberá ser informada previamente y no deberá interferir con las responsabilidades del rol.

Sobre Darwoft

Darwoft es una software factory que desarrolla soluciones de software a medida y brinda servicios de staff augmentation IT para clientes internacionales, principalmente en Estados Unidos y Latinoamérica. Trabajamos con startups y compañías en crecimiento, construyendo productos digitales de alto impacto.

Nuestra cultura es people-first: priorizamos la calidad técnica, las relaciones de largo plazo y el trabajo colaborativo. Combinamos excelencia técnica con cercanía humana.

Senior Data Engineer (AWS Serverless & Airflow) – Relación de Dependencia – Argentina

Información general Ubicación: Argentina Tipo de contrato: Relación de dependencia, full-time Industria / Proyecto: Plataforma de datos sobre AWS serverless para cliente internacional (industria a confirmar)

Sobre el rol

Buscamos un/a Senior Data Engineer para diseñar, construir y operar una plataforma de datos sobre AWS serverless, orquestada con Apache Airflow y gestionada íntegramente como código.

La posición combina ingeniería de datos, calidad y gobierno de datos. El foco está en pipelines confiables, automatizados y desplegados mediante CI/CD, que permitan al negocio contar con datos consistentes, trazables y disponibles a tiempo, con un uso eficiente de los costos cloud.

Vas a tener autonomía técnica para tomar decisiones de arquitectura, elegir el servicio adecuado para cada caso y definir buenas prácticas sobre toda la plataforma.

Responsabilidades

  • Diseñar, construir y operar la plataforma de datos sobre el ecosistema serverless de AWS, eligiendo cada servicio según el caso de uso, el costo y la operabilidad.
  • Desarrollar DAGs de Airflow de punta a punta, con foco en idempotencia, reintentos, SLAs y manejo de fallos.
  • Configurar y operar entornos MWAA: dependencias, plugins, escalado de workers y despliegues blue/green.
  • Orquestar desde Airflow jobs de Glue, Lambda, ECS y Step Functions, e integrar dbt (vía Cosmos) y dlt.
  • Implementar ingesta multi-fuente con dlt y Python: APIs REST y GraphQL, Microsoft Graph, Cost Explorer, SharePoint, bases de datos y archivos.
  • Diseñar y mantener el data lake / lakehouse en S3 con Parquet y Apache Iceberg sobre Glue Catalog.
  • Modelar datos en Snowflake y dbt por capas, con tests y documentación.
  • Desarrollar procesamiento con Spark / PySpark garantizando escrituras idempotentes y particionado eficiente.
  • Aprovisionar la infraestructura como código con Terraform y/o AWS CDK / CloudFormation: entornos MWAA, Glue jobs, Lambdas, buckets S3, roles IAM y permisos de Lake Formation.
  • Construir y mantener pipelines de GitLab CI/CD con separación de entornos (dev / staging / prod) y despliegues controlados por rama.
  • Aplicar seguridad de mínimo privilegio, gobierno de datos con Lake Formation y manejo seguro de secretos.
  • Implementar observabilidad con CloudWatch (logs, métricas, alarmas) y testing de DAGs.
  • Optimizar costos de la arquitectura serverless aplicando prácticas de FinOps.

Requisitos

Must-Have

  • +3 años de experiencia como Data Engineer en entornos cloud productivos.
  • AWS serverless (excluyente, nivel avanzado): Cómputo: Lambda (layers, concurrencia, timeouts, cold starts, empaquetado con contenedores), Fargate / ECS.
  • Procesamiento: Glue (jobs Spark y Python Shell, Data Catalog, crawlers), Athena (particionado, optimización de costos por escaneo), EMR Serverless.
  • Orquestación y eventos: Step Functions, EventBridge (reglas y schedulers), SQS, SNS.
  • Almacenamiento: S3 (diseño de data lake, lifecycle, eventos), DynamoDB (modelado por patrones de acceso, índices, streams).
  • Integración y APIs: API Gateway, AppSync.
  • Streaming: Kinesis Data Streams / Firehose, MSK Serverless.
  • Seguridad: IAM con mínimo privilegio, Lake Formation, Secrets Manager.
  • Observabilidad y costos: CloudWatch, FinOps y Cost Explorer.
  • Apache Airflow (excluyente, nivel avanzado): Arquitectura interna (scheduler, executor, workers, triggerer, metadata DB), ciclo de vida de tareas, data intervals, catchup y backfills.
  • Operadores, hooks y sensores: providers de AWS, operadores custom y deferrable operators.
  • TaskFlow API, XComs, dynamic task mapping, task groups y assets.
  • MWAA en producción.
  • Testing de DAGs, parametrización por entorno, monitoreo y alertas.
  • CI/CD y c