Pipeline de date CRM pentru o rețea de retail din Germania

Clientul nostru operează o rețea de retail în Germania, cu o divizie de vânzări en-gros B2B către clienți profesioniști. Datele despre clienți și comenzi se aflau în mai multe sisteme: un ERP on-premise, o platformă de e-commerce, exporturi din punctele de vânzare și o organizație Salesforce folosită de echipa de vânzări de teren.

Salesforce trebuia să ofere imaginea unică a fiecărui client profesionist. În practică, era alimentat prin importuri CSV manuale, iar echipa de vânzări învățase să nu aibă încredere în el.

Înregistrările de cont erau duplicate între regiuni, datele de contact se învecheau în câteva luni, iar indicatorii de consimțământ erau gestionați manual — o expunere GDPR în aceeași măsură ca o problemă de vânzări. Raportarea pipeline-ului de vânzări nu concorda cu ERP-ul, astfel încât ședințele de prognoză începeau cu o dispută despre ale cui cifre sunt corecte. Clientul nu avea nevoie de un CRM nou; avea nevoie de disciplină inginerească aplicată datelor care alimentau CRM-ul existent.

Am abordat proiectul ca pe unul de inginerie a datelor. După maparea fiecărui sistem-sursă și a fiecărui câmp, am construit un strat de ingestie și transformare: servicii Python orchestrate cu Apache Airflow, care rulează pe Azure Kubernetes Service într-o regiune UE, cu o bază de date PostgreSQL de staging ca depozit intermediar. ERP-ul este citit prin extrageri OData programate; exporturile platformei de e-commerce și ale sistemului POS sunt preluate prin ingestie bazată pe evenimente și pe fișiere.

Deduplicarea aplică mai întâi potrivirea deterministă pe identificatori din registre, apoi potrivirea aproximativă (fuzzy) pe nume și adresă, cu reguli explicite de supraviețuire care decid ce sursă prevalează pentru fiecare câmp — reguli revizuite și aprobate de echipa de operațiuni de vânzări a clientului. Îmbogățirea validează codurile de TVA și datele entităților juridice în raport cu registrele publice. Indicatorii de consimțământ și de permisiune de marketing sunt modelați drept câmpuri de prim rang, cu istoric complet, astfel încât o retragere a consimțământului se propagă în fiecare sistem conectat, în loc să supraviețuiască într-o copie uitată.

Înregistrările curățate și consolidate se sincronizează în Salesforce prin Bulk API 2.0, iar evenimentele Change Data Capture transmit actualizările la nivel de câmp din Salesforce înapoi în pipeline, pentru o consecvență bidirecțională. Verificările de calitate a datelor rulează la fiecare încărcare cu Great Expectations; o verificare eșuată blochează propagarea și alertează echipa noastră de permanență, în loc să scrie în tăcere înregistrări eronate în CRM.