CIRO AI + Singularity Data Lake

🏭 EC2 Extractor — El Camión de Datos

📊 Throughput y Volumen de Datos

📨 MSK Kafka — La Banda Transportadora

⚡ EMR Spark — Los Robots Procesadores

📊 Redshift Serverless — El Mostrador de Consultas

🔐 VPN Connection — El Túnel Seguro

✅ Conectores Activos (Disponibles Hoy)

🔵 Listos Para Activar (Sin Costo Adicional de Setup)

Estos conectores ya están desarrollados en la plataforma. Solo requieren configuración de credenciales.

🟡 Conectores Premium (Requieren Setup Adicional)

Estos conectores requieren desarrollo o configuración adicional. Se cobra un fee único de setup.

💰 ¿Cuándo Hay Cobro Adicional?

🗺️ Mapa Visual de Integración

🗺️ Topología de Red — Vista Completa

Diagrama interactivo de la arquitectura de red. Pasa el mouse sobre cada componente para ver detalles.

🔐 Capa 1 — Túnel VPN IPsec (SAP → AWS)

Conexión cifrada punto a punto entre las instalaciones de Campestre y la VPC privada en AWS.

🧱 Capa 2 — Security Groups (Firewall Virtual)

Cada servicio tiene su propio firewall que solo permite tráfico específico. Todo lo demás se bloquea.

🔐 Capa 3 — Pipeline de Cifrado End-to-End

Cada dato se cifra en múltiples puntos. Nunca viaja en texto plano.

👤 Capa 4 — IAM Policies (Menor Privilegio)

Cada componente tiene un rol IAM que solo puede hacer exactamente lo que necesita. Nada más.

🔑 Capa 5 — Secrets Manager (Credenciales SAP)

Las credenciales de SAP nunca están en código. Se almacenan cifradas y se rotan automáticamente.

📋 Capa 6 — CloudTrail + Alarmas (Auditoría Total)

Cada acción en AWS se registra. Anomalías activan alertas inmediatas.

🏭 Capa 7 — SAP Service Account (Solo Lectura)

La cuenta de servicio SAP tiene permisos mínimos. No puede modificar absolutamente nada.

📊 Resumen de las 7 Capas

🔄 Ciclo de Vida de un Dato: SAP → Query (Paso a Paso)

🔀 MERGE INTO — Lógica de Upsert Real

Cada tabla SAP tiene primary keys definidas. El MERGE evita duplicados y actualiza registros existentes.

📜 SCD Type 2 — Historial de Cambios en Master Data

Para tablas de datos maestros (KNA1, MAKT, MARA...), guardamos el historial completo de cambios con versionado.

🧬 Schema Evolution Guard

El sistema detecta automáticamente cambios en el esquema de SAP — columnas nuevas, eliminadas, o tipos cambiados — sin perder datos.

📨 Kafka Topic Partitioning Strategy

📊 Modos de Extracción

🚨 CloudWatch Alarms — Pipeline Health

7 alarmas CloudWatch activas monitorean el pipeline 24/7. Configuradas via Terraform en modules/tenant/monitoring.tf

🐕 Lambda Watchdog — Self-Healing Pipeline

🔐 Security Monitoring — Detección de Amenazas

4 metric filters en CloudTrail detectan actividad sospechosa. Definidos en modules/shared/security_monitoring.tf

✅ Data Quality — Lambda DQ Alerts

📁 Estructura de Módulos Terraform

🔒 Security-First Infrastructure (Terraform Real)

🎚️ Granular Component Provisioning

🛡️ Data Durability & Disaster Recovery

📋 Compliance & Certificaciones

🏗️ Aislamiento Multi-Tenant — Respuesta Definitiva

🔐 Cifrado en Tránsito — Componente por Componente

👤 IAM — Separación de Roles (Least Privilege)

🔍 Detección de Amenazas — Capas Reales

🖥️ EC2 Extractor — Hardening

🔄 Disaster Recovery & Business Continuity

📋 SLA con Dientes — Penalidades Financieras

📜 Data Processing Agreement (DPA)

🚪 Estrategia de Salida — Sin Lock-in

🚀 CI/CD & Deployment Pipeline

⚠️ Redshift Dual-Write — Alerting de Fallos

⏱️ Latencia del Pipeline — EMR Idle & Cold Start

sequenceDiagram
    participant SAP as SAP ECC
10.x.x.x:3200
    participant VPN as IPsec VPN
Claro ISP
    participant EC2 as EC2 Extractor
c5.4xlarge
    participant MSK as Kafka MSK
Port 9098 IAM
    participant LBD as Lambda Watchdog
EventBridge 5min
    participant EMR as Spark EMR
Serverless
    participant S3 as S3 Iceberg
KMS encrypted
    participant GLU as Glue Catalog
90+ tables
    participant RS as Redshift
Serverless
    participant PBI as Power BI
DirectQuery

    EC2->>VPN: pyrfc RFC_READ_TABLE
    VPN->>SAP: TCP 3200-3399
    SAP-->>VPN: Rows (15K-200K batch)
    VPN-->>EC2: Data over tunnel
    EC2->>EC2: Dynamic batch sizing
    EC2->>MSK: produce(topic=sap-tenant-TABLE, batch=500 rows/msg)
    Note over MSK: 106 partitions across 90+ topics
    LBD->>EMR: Check job status every 5min
    alt Job not running
        LBD->>EMR: StartJobRun(iceberg_consumer.py)
    else Stuck > 6 hours
        LBD->>EMR: CancelJobRun + StartJobRun
    end
    EMR->>MSK: subscribePattern(sap-tenant-*)
    EMR->>EMR: explode(500 rows/msg) per table
    EMR->>EMR: ThreadPoolExecutor(8 writers)
    loop Per SAP Table (parallel)
        EMR->>GLU: Check table exists?
        alt Table exists
            EMR->>EMR: Schema evolution check
            EMR->>S3: MERGE INTO on primary keys
        else New table
            EMR->>S3: CREATE TABLE + writeTo()
            EMR->>GLU: Register in catalog
        end
        EMR->>RS: Dual-write (non-blocking)
    end
    RS->>PBI: JDBC DirectQuery

flowchart TD
    A["EventBridge
every 5 min"] --> B["Lambda Handler"]
    B --> C{"STREAMING_MODE?"}
    C -- continuous --> D["List EMR jobs
state=RUNNING"]
    C -- triggered --> T["Check Kafka lag
> 1000 msgs?"]
    T -- No --> U["Exit: no data"]
    T -- Yes --> V["Submit batch job"]
    D --> E{"Running jobs?"}
    E -- 0 --> F["Start new streaming job"]
    E -- 1 --> G{"Age > 6 hours?"}
    E -- ">1" --> H["Cancel duplicates
keep newest"]
    G -- Yes --> I["Cancel stuck job"]
    I --> F
    G -- No --> J["Healthy - no action"]
    F --> K["emr.start_job_run()"]
    K --> L["sparkSubmit:
iceberg_consumer.py"]
    L --> M["Env: S3_BUCKET, GLUE_DB
KAFKA_BOOTSTRAP, TENANT_ID
REDSHIFT_JDBC_URL"]
    style A fill:#dbeafe,stroke:#2563eb
    style J fill:#dcfce7,stroke:#16a34a
    style I fill:#fee2e2,stroke:#dc2626

flowchart TD
    A["Kafka micro-batch
(30s trigger)"] --> B["Explode JSON
500 rows/msg"]
    B --> C["Group by
sap_table_name"]
    C --> D["_write_single_table()"]
    D --> E{"Table exists
in Glue?"}
    E -- No --> F["CREATE TABLE
Iceberg + Parquet + Snappy"]
    F --> G["Set table properties
sap.table.group, .type, .description"]
    E -- Yes --> H{"Schema changed?"}
    H -- Yes --> I["ALTER TABLE
ADD COLUMN"]
    I --> J["SNS Alert"]
    H -- No --> K{"Primary keys
defined?"}
    K -- Yes --> L["MERGE INTO target
USING source
ON key match"]
    L --> M["WHEN MATCHED
→ UPDATE SET"]
    L --> N["WHEN NOT MATCHED
→ INSERT"]
    K -- No --> O["APPEND mode
(no dedup)"]
    M --> P["Redshift dual-write"]
    N --> P
    O --> P
    style L fill:#dbeafe,stroke:#2563eb
    style I fill:#fef3c7,stroke:#d97706
    style F fill:#dcfce7,stroke:#16a34a

sequenceDiagram
    participant SPK as Spark EMR
    participant STG as Redshift staging
    participant TGT as Redshift bi.kna1_v2
    participant AUD as bi.audit_log

    SPK->>STG: COPY via S3 unload (temp parquet)
    Note over STG: staging.kna1_staged
Fresh rows from Kafka
    STG->>STG: Compute MD5 hash
COALESCE(name1||addr) per row
    STG->>TGT: Compare s.row_hash != t.row_hash
    alt Hash changed (customer updated)
        TGT->>TGT: UPDATE SET is_current=false, valid_to=NOW()
        STG->>TGT: INSERT new version (is_current=true, valid_from=NOW())
        STG->>AUD: INSERT audit_log (operation=UPDATE, old_hash, new_hash)
    else New customer
        STG->>TGT: INSERT (is_current=true, valid_from=NOW(), valid_to=NULL)
        STG->>AUD: INSERT audit_log (operation=INSERT)
    end
    STG->>STG: TRUNCATE staging table
    Note over TGT: Power BI queries WHERE is_current=true

flowchart TD
    A["POST /data-lake/provision"] --> B["DataLakeProvisioningService"]
    B --> C{"Quota tier?"}
    C -- ENTERPRISE --> D["pipeline_enabled=false"]
    C -- ENTERPRISE_PRO --> E["pipeline_enabled=true"]
    D --> F["terraform apply"]
    E --> F
    F --> G["modules/tenant/"]
    G --> H["S3 Bucket
KMS + versioning"]
    G --> I["Glue DB
singularity_tenant_db"]
    G --> J["Athena Workgroup
scan limit"]
    G --> K{"pipeline_enabled?"}
    K -- true --> L["MSK Serverless
IAM auth"]
    K -- true --> M["EMR Serverless
Spark 3.5"]
    K -- true --> N["EC2 Extractor
c5.xlarge"]
    K -- true --> O["Lambda Watchdog
EventBridge"]
    K -- true --> P["CloudWatch
7 alarms"]
    K -- false --> Q["Storage only
$50/mo"]
    style H fill:#dcfce7,stroke:#16a34a
    style L fill:#dbeafe,stroke:#2563eb
    style Q fill:#fef3c7,stroke:#d97706

flowchart LR
    A["Internet"] --> B["VPC
Private subnets"]
    B --> C["Security Groups
Port-level rules"]
    C --> D["IAM Roles
Least privilege"]
    D --> E["KMS Encryption
At rest + transit"]
    E --> F["S3 Policies
Deny HTTP + unencrypted"]
    F --> G["CloudTrail
API audit log"]
    G --> H["Metric Filters
Root login, IAM changes"]
    style A fill:#fee2e2,stroke:#dc2626
    style B fill:#fef3c7,stroke:#d97706
    style C fill:#fef3c7,stroke:#d97706
    style D fill:#dbeafe,stroke:#2563eb
    style E fill:#dbeafe,stroke:#2563eb
    style F fill:#dcfce7,stroke:#16a34a
    style G fill:#dcfce7,stroke:#16a34a
    style H fill:#dcfce7,stroke:#16a34a

Cobertura de la Plataforma CIRO

CIRO unifica las tres áreas que normalmente requieren herramientas separadas: almacenamiento de datos, análisis de negocio e inteligencia artificial — en una sola plataforma integrada.

CIRO vs Competencia — Áreas de Fortaleza

* Escenario: SAP ECC con 350M+ filas, 535 GB, 90 tablas, streaming pipeline, BI queries, 10-15 usuarios. Ver desglose detallado abajo.

🔵 CIRO Singularity — Desglose Real de Costos AWS

Precios basados en tarifas publicadas de AWS para us-east-1. Calculado para el perfil de Campestre.

🔵 Costo Total CIRO (Infraestructura + Servicio)

🟣 Microsoft Fabric — Desglose Real

Para manejar 350M filas de SAP con pipeline de ingestión, Lakehouse, y BI. Precios Azure Pay-As-You-Go.

❄️ Snowflake + Fivetran — Desglose Real

🧱 Databricks — Desglose Real

📊 Comparación Visual — Costo Mensual Total

📅 Servicio Mensual Todo Incluido

🔌 Servicios Adicionales (Bajo Demanda)

📋 Resumen Ejecutivo de la Propuesta