Ingeniero de datos

Ingeniero de Datos - Microsoft Fabric

1. DESCRIPCIÓN GENERAL DEL CARGO

El Ingeniero de Datos será responsable de liderar y ejecutar la transformación de analíticos hacia Microsoft Fabric. Este rol requiere sólida experiencia en ingeniería de datos moderna, con dominio de SQL, PySpark y Microsoft Fabric, así como capacidad para diseñar e implementar pipelines robustos con pruebas automatizadas que garanticen la calidad de los datos. Se valorará altamente el conocimiento previo de plataformas analíticas como SAS o Cloudera, ya que facilitará la comprensión y migración de la lógica de negocio existente.

2. RESPONSABILIDADES PRINCIPALES

• Analizar y documentar estructuras de datos, flujos y lógica de negocio existentes en las plataformas legacy
• Diseñar e implementar pipelines de datos escalables en Microsoft Fabric utilizando Azure Data Factory y Databricks
• Desarrollar transformaciones de datos utilizando PySpark y SQL optimizado para grandes volúmenes
• Diseñar e implementar estrategias de pruebas automatizadas para validar calidad, integridad y consistencia de datos
• Realizar la migración de objetos analíticos (programas, scripts, queries) a las nuevas tecnologías cloud
• Validar la equivalencia funcional entre procesos legacy y procesos migrados, asegurando consistencia de resultados
• Optimizar el rendimiento de queries y pipelines en el entorno Azure
• Implementar estrategias de monitoreo, logging y alertas para pipelines de datos
• Colaborar con el equipo de arquitectura para definir estándares de codificación y mejores prácticas
• Documentar soluciones técnicas, decisiones de diseño y procedimientos de migración
• Uso de LLM para migración de código

3. REQUISITOS TÉCNICOS

3.1 Competencias Obligatorias

• SQL avanzado: Experiencia demostrable con queries complejas, optimización de consultas, funciones analíticas (window functions), CTEs y subqueries. Capacidad para trabajar con grandes volúmenes de datos.
• PySpark: Conocimiento sólido de Apache Spark con Python. Experiencia en transformaciones de datos distribuidos, operaciones sobre DataFrames, optimización de jobs Spark y manejo de particiones.
• Microsoft Fabric: Experiencia práctica con los componentes de Fabric incluyendo Lakehouse, Data Warehouse, Data Pipelines y notebooks. Conocimiento de la arquitectura OneLake y semantic models.
• Desarrollo de Pipelines de Datos: Experiencia diseñando e implementando pipelines ETL/ELT robustos, incluyendo orquestación, manejo de errores, reintentos y paralelización. Conocimiento de Azure Data Factory o herramientas similares.
• Pruebas Automatizadas para Datos: Experiencia diseñando e implementando estrategias de testing para validación de calidad de datos. Capacidad para crear pruebas de esquema, completitud, unicidad, rangos de valores y reglas de negocio.

3.2 Conocimientos Altamente Valorados

• Los siguientes conocimientos, aunque no obligatorios, serán altamente valorados durante el proceso de selección:
• Experiencia con SAS: Conocimiento de programación SAS (Base SAS, SAS/SQL, SAS Macros), SAS Enterprise Guide, SAS Studio o SAS Viya. Capacidad para interpretar y documentar código SAS legacy.
• Experiencia con Cloudera: Conocimiento del ecosistema Hadoop, específicamente Cloudera Distribution (CDH). Experiencia con HDFS, Hive, Impala y gestión de datos en entornos Big Data on-premise.
• Certificaciones en Microsoft Azure: Certificaciones como Azure Data Engineer Associate, Azure Database Administrator Associate, Databricks Certified Data Engineer, o Fabric Analytics Engineer serán consideradas un diferenciador importante.

3.3 Tecnologías Complementarias

• Azure Databricks: Configuración de clusters, optimización de jobs, Unity Catalog
• Azure Synapse Analytics: SQL pools, Spark pools, integración con Data Factory
• Azure Data Lake Storage Gen2: Gestión de datos, organización de carpetas, permisos y seguridad
• Python: Librerías para procesamiento de datos (Pandas, NumPy), testing (pytest, unittest)
• Git/GitHub: Control de versiones, colaboración en código, CI/CD
• Herramientas de observabilidad: Azure Monitor, Application Insights, Log Analytics
• Formatos de datos: Parquet, Delta Lake, ORC, Avro
• Apache Airflow para orquestación de malla de procesamiento

4. FORMACIÓN ACADÉMICA

• Título profesional en Ingeniería de Sistemas, Ciencias de la Computación, Ingeniería Electrónica, Estadística, Matemáticas o carreras afines
• Postgrado o especialización en Ciencia de Datos, Big Data o áreas relacionadas (deseable)

5. EXPERIENCIA REQUERIDA

• Mínimo 2 años de experiencia profesional en ingeniería de datos o roles relacionados
• Al menos 1 año de experiencia trabajando con tecnologías cloud, preferiblemente Azure
• Experiencia implementando pipelines de datos en producción con volúmenes significativos (millones de registros)
• Experiencia en proyectos del sector financiero, bancario o seguros (deseable)

6. HABILIDADES BLANDAS

• Capacidad analítica excepcional y atención meticulosa al detalle para garantizar precisión en migraciones
• Excelentes habilidades de comunicación técnica oral y escrita
• Capacidad para trabajar de manera autónoma con mínima supervisión
• Trabajo en equipo efectivo y colaboración con equipos distribuidos
• Proactividad para identificar problemas técnicos y proponer soluciones innovadoras
• Adaptabilidad y apertura para aprender nuevas tecnologías y metodologías
• Capacidad para gestionar múltiples tareas y priorizar efectivamente
• Habilidad para documentar de forma clara y transferir conocimiento al equipo

7. CONDICIONES DEL CARGO

• Posibilidad de trabajo remoto
• Horario: Lunes a viernes, jornada laboral estándar de 8am a 6pm
• Ambiente de trabajo colaborativo con oportunidades de aprendizaje continuo