Business Intelligence is wat mij betreft pas echt geslaagd als de bottom line significant in positieve zin wijzigt. Ik weet van een project waar het hele BI team vele maanden op heeft zitten zwoegen en toen het rapport aan de manager werd gepresenteerd, deze zei: “Ja, dat dacht ik al…”. En vervolgens ging hij door ging tot de orde van de dag. Daar doe je het natuurlijk niet voor, althans ik niet.

Zelf ben ik altijd op zoek naar Actionable Results. Zoals van een groothandel in kantoorartikelen die elke maandagochtend een rapport klaargezet krijgt voor de verkoopafdeling van klanten die al 4 maanden geen toner meer besteld hebben. Onderzocht was dat daar het breekpunt lag. Als de klant rond dat moment geen bestelling deed, dan was de kan groot dat de concurrentie er met hem vandoor ging.

Dat vind ik “mooie”  kennis. Als je dit soort kennis kunt produceren met je BI oplossing, dan verdien je je geld dubbel en dwars terug.

Met een klant ben ik bezig om voor zijn verkoop divisie een overzicht te maken van klanten die binnen de uiterste 10% van het verkoopspectrum vallen, zowel in omzet als bruto en netto marge. Met gewone SQL is dit niet op te lossen. Ik heb hiervoor een routine gebouwd waar ik best trots op ben: Met een  ”For next .. loop” wordt een resultaatset doorlopen, die voor ieder resultaat een nieuwe query afvuurt en de resultaten van die queries ook weer doorloopt op 10% en 90% weer in de database wegschrijft.

Dit alles om tot actionable results te komen. Zoals: “Wat doen we met klanten die “te lang” een te kleine bijdrage tot de resultaten brengen, vergeleken met andere klanten?”

Mooi vak: Business Intelligence.

SSIS, SSAS en SSRS: fantastische tools.

En het moet gezegd worden: SSIS, SSAS en SSRS zijn een set fantastische tools om een complete business intelligence omgeving mee op te zetten. Omdat ik Business Objects XI goed ken heb ik een vergelijk gemaakt tussen de verschillende componenten van de Microsoft SQL Server 2008 omgeving en de Business Objects omgeving. De vergelijking staat hier.

Waarom is COBIT belangrijk?

Cobit is belangrijk omdat alle IT Processen bestuurd moeten worden en dat het COBIT besturingsmodel daar zeer goede handvaten voor aanreikt. Dus ook de besturing van Business Intelligence en Datawarehouse trajecten. Normaal is het een zeer droge taaie stof, maar ik heb geprobeerd om in eenvoudige taal uit te leggen hoe dat model werkt. Het artikel staat hier:

http://ict-check.nl/it-governance/cobit/cobit-uitgelegd/

Datavault generatie

Via een blogpost van Dan Linstedt kwam ik op de tool QUIPU. Quipu is een open source tool die automatisch een datavault model genereert aan de hand van een 3NF (bron) model  samen met de daarbij behorende ETL.  Zeker iets om te onthouden.

• Datavault is snel te implementeren;
• De ETL in Datavault kan vanaf dag 1 werken (in een produktiesysteem);
• Veranderende business inzichten zijn veel sneller te implementeren dan bij een datawarehouse dat traditioneel gebouwd is;
• Onvolkomenheden in de business logica komen zeer snel boven water;
• De doorlooptijd van projecten neemt af.

To Datavault or NOT to Datavault

Waarom dan die aarzeling? Datavault is een modelleringstechniek die je niet “zomaar” toepast. Of je gaat er voor of je gaat er niet voor. Halverwege stoppen met datavault doe je niet en als je het toch doet, creëer je een bende.

Datavault in een datawarehouse implementeren betekent dat je alle medewerkers in deze techniek moet trainen en dat je de eenmaal met datavault gebouwde oplossingen ook volgens die modellering blijft doorontwikkelen.

To Datavault or NOT to Datavault, Thats the question…

Google kun je ook gebruiken hoe populair bepaalde zoekwoorden zijn. Daarvoor hebben zij een apart keywoord tool ontwikkeld. Ik ben gaan onderzoeken hoeveel keer naar de populaire ETL Tools gezocht is. Naar de volgende ETL tools heb ik gezocht:

• Adeptia
• Business Objects Data Services  (BODI)
• Centerprise
• Clover ETL
• Data Manager/Decision Stream (Cognos-IBM)
• Data Migrator
• DataFlow Manager
• Datastage (IBM)
• DB2 Warehouse Edition
• Elixir Repertoire
• IBM Information Server
• Open Text Integration Center
• Pentaho  ETL
• Pervasive Data Integrator
• PowerCenter
• SAS Data Integration Studio
• SQL Server Integration Services (SSIS)
• Talend  ETL  Transformation Manager
• Mapforce
• Oracle Warehouse Builder (OWB)

De uitslag naar de populariteit van de ETL tools:

De onbetwiste marktleiders zijn Microsoft, IBM en Oracle met respectievelijk SQL Server Integration Services (SSIS), Datastage en Oracle warehouse builder (OWB).

De open source ETL tool Pentaho is een goede vierde.

Dit is de grafiek van de top 10 ETL Tools (de overige ETL-Tools hebben minder dan 1% populariteitsaandeel):

De cijfers zien er als volgt uit:

Aanvulling 4-4-2011:

Jaspersoft ETL gebruikt tegenwoordig Talend ETL als basis voor hun Suite. Jaspersoft is een open source reporting tool.

Naar aanleding van de vraag van Kasper de Graaf over de populariteit van SSIS hieronder de verantwoording van de keyword populariteit:

In een transactie systeem wordt vaak alleen bijgehouden wat de laatste stand is. Dus als een klant bijvoorbeeld het orderaantal veranderd van 10 naar 20, wordt vaak alleen de laatste stand bijgehouden. Wanneer een bedrijf groter groeit, is het vaak gewenst om management rapportage systemen (MIS) in het leven te roepen, om door middel van dashboards (zoals de Balanced Scorecard) inzicht te krijgen in de trends die zich in het bedrijf voordoen. De snelheid van dat inzicht is van groot belang omdat er dan op tijd bijgestuurd kan worden. Een management informatie systeem dat procesmatig wordt bijgehouden, wordt vaak een Business Intelligence systeem genoemd. De techniek voor het Business Intelligence systeem is vaak een Datawarehouse.

Waarom willen we een datawarehouse (DWH)?

Er zijn een aantal redenen om een datawarehouse te willen:

• Rapportagesnelheid
• Historisch verloop
• Performance van de bronsystemen
• Consolideren van verschillende bronsystemen
• Gecontroleerde en geverifieerde datakwaliteit
• analyse gemak

• Rapportagesnelheid van het DWH

Een datawarehouse wordt geoptimaliseerd voor rapportagesnelheid. Dat betekent dat de structuur zodanig is dat de computer er het kortst over doet om de gegevens bij elkaar te halen en te presenteren. De 3NF structuur is vaak niet geschikt om rapportagesnelheid te optimaliseren en daarom heeft het vaak niet veel zin om een kopie van een productie (transactie) systeem te maken. Ook het historisch verloop van de gegevens wordt vaak niet duidelijk, waardoor waardevolle informatie verloren gaat.

• Historisch verloop in het DWH

In een datawarehouse worden normaal gesproken alle veranderingen die zijn opgetreden bijgehouden. Dus als de klantorder eerst 10 was en daarna 20, dan kunnen beide gegevens in het datawarehouse staan, als daar voor gekozen wordt. Let echter op: als de opzet van het datawarehouse bijvoorbeeld opgezet wordt door de afdeling finance en die afdeling vind de maandomzet goed genoeg, dan zal de marketing afdeling onvoldoende gegevens in het datawarehouse hebben om inzicht te krijgen in het klantgedrag.

• Performance van de (ERP, CRM) bronsystemen

Zware queries (opvragingen uit de database) die over veel tabellen heen hun gegevens moeten ophalen en daarbij de hele database door moeten, leggen nogal een beslag op de database. Dat betekent dat op de bronsystemen vaak geen queries mogen draaien zonder dat de performance (gebruikerssnelheid) van het systeem in gevaar komt. Vaak moet dan uitgeweken worden naar de avond of nacht om die queries te laten draaien, als er dus nog geen datawarehouse beschikbaar is. Als alternatief wordt er wel eens een kopie van de database gemaakt waar het rapportage systeem op gebaseerd wordt, maar daar kunnen slechts ten dele trends mee zichtbaar worden gemaakt. In dat geval wordt alleen aan de performance van de bronsystemen tegemoet gekomen, maar de andere voordelen worden gemist.

• Consolideren van verschillende bronsystemen in het DWH

Zelf heb ik een datawarehouse gebouwd die de financiële informatie uit 3 landen en 3 verschillende boekhoudsystemen bij elkaar brengt, zodat op het hoofdkantoor gezien kan worden wat de omzetten zijn per produktgroep over de verschillende landen heen. Hier hoeft dan geen informatie uit een grote hoeveelheid spreadsheets meer samengevoegd te worden door de controllers, want alle gegevens is centraal en snel beschikbaar. Dat is een van de voorbeelden waar het gemak van een datawarehouse uit blijkt.

• Gecontroleerde en geverifieerde datakwaliteit van het DWH

Een vaste manier om de gegevens op te slaan en bij elkaar te brengen heeft voordelen voor de hele organisatie. Als bijvoorbeeld de omzet op een gecontroleerde manier correct is vastgelegd, dan kunnen er doorsnedes gemaakt worden naar bijvoorbeeld Land, klant, produktgroep, tijd, etc. De doorsnedes zullen niet verschillen of ze door medewerker A of medewerker B gemaakt worden. Eén versie van de (cijfermatige) waarheid bespaart enorm op de communicatiekosten (vergaderingen, afstemmingen, ruzies ed) binnen een bedrijf.

• Analysegemak van het DWH

Een datawarehouse dat tot recent is bijgewerkt, een goede rapportagesnelheid realiseert en met de juiste gegevens gevuld is, is bijzonder prettig om mee te werken. Voor analisten is het van belang een directe terugkoppeling te krijgen of de overzichten zoals zij die bedachten ook inderdaad de gewenste resultaten opleveren. Wanneer op deze manier het datawarehouse gevuld is zullen de dashboards de juiste standen laten zien. De snelheid waarmee inzicht verkregen wordt, draag bij aan de slagvaardigheid van de organisatie waar zij wordt ingezet.

Business Intelligence projecten hebben een hoge graad van falen. Vaak wordt er een project opgezet, wat met een “Big Bang” geïmplementeerd moet worden.
Het project gaat voornamelijk over de technologie, de infrastructuur en wie waar voor verantwoordelijk is. Business Intelligence is echter een PROCES dat ingebed moet worden in een organisatie. Het is mensenwerk en de mensen voor wie het bedoeld is zullen er vertrouwen in moeten krijgen. Het vereist overleg, vertrouwen en werken aan verbetering. Het falen van een Business Intelligence project heeft voornamelijk met menselijke communicatie, verwachtingen (en het managen daarvan) en tegenstrijdige doelen te maken.

Waarover gaan deze Business Intelligence Tips?

Deze tips gaan onder meer over de communictie binnen een business intelligence traject, waarbij het niet uitmaakt welke ETL Tool je gebruikt (Oracle Warehouse Builder (OWB), Business Objects Data Services, Powercenter, SQL Server Integration Services, Pentaho of Talend om er een paar te noemen).
Ook de rapportage tools (zoals daar onder meer zijn: Cognos, Business Objects, QlikView, Micro Strategy, SQL Server Reporting Services, OBIEE of Xcelsius) zijn niet van doorslaggevende invloed op het success van een Business Intelligence project.
De tools zijn maar een onderdeel van het succes. Het echte succes komt als zowel het management, de eindgebruikers en het Business Intelligence beheer team op één lijn zitten. De tips zijn een weerslag van mijn eigen jarenlange automatiseringservaring in Datawarehousing en Business Intelligence.

Hoe kom ik aan deze Business Intelligence Tips?

Vul je naam en email adres boven in op de website, dan ontvang je de tips gratis.