Ingeniero de datos

hace 3 días

Medellín, Antioquia, Colombia MPS Group LLC A tiempo completo $8.000.000 - $15.000.000 al año

Location:
Hybrid role based in Colombia, preferably in Bogotá, Medellín, or Cartagena

Years of experience:
6+ years of experience in data engineering with cloud technologies

Requirement:
Minimum English level B2

JOB OVERVIEW

We are seeking an experienced Data Engineer with strong skills in
Python
, SQL,
AWS
, and
CI/CD
practices, particularly Infrastructure as Code using
AWS CDK.
This role focuses on designing and implementing serverless data pipelines and cloud infrastructure to build end-to-end data solutions that extract, transform, and catalog data from various sources. You will collaborate closely with data science teams to ensure data accessibility and quality for their analytics and modeling initiatives.

RESPONSIBILITIES

Infrastructure Development

  • AWS CDK Implementation
    : Design and deploy complete data infrastructure using
    AWS CDK
    with Python
  • Storage Solutions
    : Implement optimized S3 data lakes with appropriate partitioning and file formats

Data Pipeline Engineering

  • API Integration
    : Develop robust data extraction processes from external APIs and data sources
  • ETL Processes
    : Create efficient data transformation workflows using AWS Glue
  • Data Cataloging
    : Implement automated schema discovery and metadata management with AWS Glue Crawlers
  • Spring Boot:
    Build and maintain backend services and APIs to support data pipelines and integration needs

DevOps & CI/CD

  • CI/CD
    : Implement automated deployment pipelines for data infrastructure
  • Infrastructure as Code
    : Maintain version-controlled, reproducible infrastructure deployments

Data Governance & Security

  • Lake Formation
    : Implement fine-grained access controls and data governance policies

Permissions Management
: Design secure, role-based access patterns for data assets

TECHNICAL REQUIREMENTS

Core Skills (Mandatory)

  • AWS CDK/Cloudformation (Critical)
    : 3+ years of hands-on experience building production infrastructure
  • Python
    : 5+ years of development experience, particularly for data processing
  • AWS Glue
    : ETL job creation, crawlers, data catalog management
  • CI/CD
    : Experience with automated deployment pipelines
  • Docker & Kubernetes:
    Containerization and orchestration for scalable deployment environments

AWS Services Expertise Required

  • AWS Lambda
    : Serverless function development for data processing
  • Amazon S3
    : Data lake design, partitioning strategies, lifecycle management
  • Amazon Athena
    : Query optimization, performance tuning
  • AWS Lake Formation
    : Data governance, permissions, and access control
  • EventBridge & Step Functions
    : Workflow orchestration (preferred)

Data Engineering Skills

  • Data Cataloging
    : Experience with metadata management and automated schema discovery
  • ETL/ELT Processes
    : Design and implementation of efficient data transformation workflows
  • API Integration
    : REST API consumption and error handling
  • Data Science Collaboration
    : Experience working with data science teams to provide clean, accessible datasets and support model infrastructure deployment to production

SOFT SKILLS

  • Strong analytical thinking and problem-solving abilities.
  • Excellent communication and collaboration skills across technical and non-technical teams.
  • Ability to self-manage and thrive in dynamic environments.
  • Curiosity and a mindset of continuous learning.

  • Ingeniero de Datos Ingeniero de Datos

    hace 2 semanas

    Medellín, Antioquia, Colombia GFT Technologies SE A tiempo completo $1.500.000 - $3.000.000 al año

    Que buscamos?Ingeniero de DatosTus principales responsabilidades a desarrollar:Responsabilidades1. Diseño y Desarrollo de Infraestructura de Datos- Crear y mantener sistemas de almacenamiento y procesamiento de datos que sean eficientes y escalables.2. Integración de Datos:- Recopilar y transformar datos de diversas fuentes para hacerlos accesibles y...

  • Ingeniero de Datos

    hace 2 semanas

    Medellín, Antioquia, Colombia GFT TECHNOLOGIES A tiempo completo $1.200.000 - $2.400.000 al año

    Que buscamos?Ingeniero de DatosTus principales responsabilidades a desarrollar:Responsabilidades Diseño y Desarrollo de Infraestructura de Datos Crear y mantener sistemas de almacenamiento y procesamiento de datos que sean eficientes y escalables.Integración de Datos: Recopilar y transformar datos de diversas fuentes para hacerlos accesibles y útiles...

  • Ingeniero de datos Python

    hace 3 días

    Medellín, Antioquia, Colombia Think Us - It Staff Augmentation A tiempo completo

    Ubicación:Medellín (presencial)Modalidad:Turnos rotativos 7x24 (con día compensatorio y recargos)Tipo de contrato:IndefinidoPerfil requerido:Buscamos unIngeniero de Datos Intermedio (COES - Datos)con experiencia en desarrollo y mantenimiento de pipelines de datos, manejo de infraestructura en la nube y soporte a equipos técnicos. La persona ideal tendrá...

  • Ingeniero de Datos Python

    hace 1 semana

    Medellín, Antioquia, Colombia XpertGroup A tiempo completo $4.000.000 - $8.000.000 al año

    Somos XpertGroup, una innovadora casa de software que busca el crecimiento tanto personal como profesional de sus colaboradores, en el momento nos encontramos en la búsqueda de un Ingeniero de Datos - Python y Microsoft de fabrica con una experiencia mínima de 5 años en empresas de TI para que forme parte de nuestra familia de #xpertlovers.Debe Contar Con...

  • Ingeniero de datos

    hace 2 semanas

    Medellín, Antioquia, Colombia GFT Technologies A tiempo completo $1.200.000 - $2.400.000 al año

    GFT Technologies es una compañía global de soluciones tecnológicas, con operaciones en más de 20 países alrededor del mundo. Una de nuestras casas matrices se encuentra en Colombia y contamos con filiales en 14 países incluyendo Brasil, Perú, México, Chile y Panamá. Somos más de personas expertas en tecnología, liderando proyectos que están...

  • Ingeniero de datos AWS Senior

    hace 23 horas

    Medellín, Antioquia, Colombia XpertGroup A tiempo completo US$120.000 - US$240.000 al año

    SomosXpertGroup, una compañía enfocada en el desarrollo de software, analítica avanzada, Big Data, DevSecOps y Agilísimo. Contamos con productos tanto propios como a la medida del cliente y actualmentenos encontramos en la búsqueda de un Ingeniero(a) de datos AWS Senior, para que forme parte de nuestra familia de#xpertlovers.Necesitas Contar Con...

  • Ingeniero de datos

    hace 23 horas

    Medellín, Antioquia, Colombia Crystal S.A.S A tiempo completo US$3.000.000 - US$6.000.000 al año

    Tu objetivo principal será diseñar, construir y administrar arquitecturas y pipelines de datos escalables en la nube que garanticen la disponibilidad, calidad, seguridad y gobernanza de la información, para habilitar procesos analíticos de BI, machine Learning, y web scraping.ResponsabilidadesDiseñar, implementar y mantener pipelines de datos escalables...

  • Ingeniero DevOps

    hace 1 semana

    Medellín, Antioquia, Colombia XpertGroup A tiempo completo $9.000.000 - $12.000.000 al año

    Somos XpertGroup, una innovadora casa de software que busca el crecimiento tanto personal como profesional de sus colaboradores, en el momento nos encontramos en la búsqueda de un Ingeniero DevOps que forme parte de nuestra familia de #xpertlovers.Solidos conocimiento en DevOps (CICD, GitFlow, DevSecOps, Unit Testing)Conocimientos generales sobre AWS (High...

  • Ingeniero energético

    hace 1 semana

    Medellín, Antioquia, Colombia Ebroenergía A tiempo completo $1.200.000 - $2.400.000 al año

    Estamos en la búsqueda de unIngeniero energético,(NO ingeniero electricista) con experiencia demostrable mínima de 3 años en el sector, capaz de aportar criterio técnico, visión analítica y capacidad de liderazgo en proyectos energéticos. No necesitas conocer el mercado español de antemano —te formaremos—, pero sí debes traer la solidez...

  • Practicante Datos

    hace 1 semana

    Medellín, Antioquia, Colombia Puntos Colombia A tiempo completo $2.300.000 - $3.600.000 al año

    Sobre Puntos ColombiaEn Puntos Colombia tenemos la ambición de seguir siendo el programa de lealtad más grande del país y estamos convencidos que eso se logra construyendo una cultura genial, donde las personas de nuestro equipo de trabajo tengan una remuneración competitiva, beneficios extralegales que reconozcan su compromiso y puedan ser aprovechados...