Azure Pipelines

¿Qué es una pipeline?

Una pipeline (tubéria o cadena de procesamiento) es un sistema donde un proceso se divide en varios pasos automáticos que se hacen uno detrás de otro hasta obtener el resultado final.

Sirve para:

• Organizar procesos complejos
• Automatizar tareas
• Separar responsabilidades
• Mejorar velocidad y eficiencia
• Facilitar mantenimiento y escalabilidad

Tipos de Pipelines.

1. Pipeline de software (CI/CD)

Muy usada en programación.

CI= Continuous Integration

CD= Continuous Delivery/Deployment

Tiene el objetivo de automatizar el desarrollo y despliegue.

2. Pipeline de Datos (Data Pipeline)

Mueve y transforma datos.

Muy usada en: Big data, IA, Bussiness Intelligene y Analítica.

ELT= Extract --> Transform --> Load

Sacar datos --> Limpiarlos/modificarlos --> Cargarlos en otro sitio

3. Pipeline de Machine Learning

Usada en Inteligencia Artificial (IA)

Tiene el objetivo de automatizar entrenamiento y actualización de modelos IA

4. Pipeline de Gráficos/Vídeo

Muy usada en videojuegos y renderizado.

Conceptos:

• Input= lo que entra
• Output= lo que sale
• Stage (etapa)= cada paso individual
• Workflow= flujo completo de trabajo. (la pipeline suele ser parte del workflow)
• Orquestación= coordinar automáticamente todas las etapas
• Paralelismo= algunas tareas pueden ejecutarse al mismo tiempo (esto acelera mucho el proceso)
• Monitoreo= las pipelines suelen registrar: errores, tiempos, logs, rendimiento...
• Retry= si una pipeline falla puede repetirse automáticamente (muy importante en sistemas grandes)

Práctica