ODI – Jak upravit IKM Slowly Changing Dimension Typ 2 i pro Typ 1

Není to tak dlouho co jsem psal o ODI a jeho podpoře Pomalu se měnících dimenzí druhého typu (SCD2 - Slowly Changing Dimension Type 2) – celý článek najdete zde.
Zkráceně: V ODI můžete každé tabulce nastavit atributy, které určují její chování v případě, že jde o Pomalu se měnící dimenzi (SCD). Logika zpracování pro SCD typu 2 je dodávaná v Integračních Knowledge Modulech (IKM Slowly Changing Dimension).



Minulý týden jsem řešil případ, kdy IKM Oracle Slowly Changing Dimension (je navržené pro SCD2) bylo potřeba využít i pro SCD typu 1. Důvod, proč dané IKM bylo potřeba použít i pro SCD1, byl čistě o připravenosti na budoucí přechod k SCD2.


Postup
Postup je stejný jako kdyby šlo o SCD2, ale na sloupcích tabulky se místo příznaku „Add Row on Change“ nastaví vždy příznak „Overwrite on Change“. Malá změna se pak musí udělat v použitém IKM. Protože když spustíte originální IKM s takto nastaveným chováním SCD, tak vám zpracování dimenze spadne v kroku „Flag rows for update“.

Chyba je v tom, že v příkazu UPDATE mezi WHERE a AND není žádný výraz:


Důvodem je to, že IKM očekává alespoň jeden sloupec, který je označen příznakem „Add Row on Change“, což v případě SCD1 není.

Řešením je jednoduchá úprava IKM - jděte do IKM Oracle Slowly Changing Dimension, otevřete krok „Flag rows for update“ a do stávajícího kódu


přidejte podmíněné AND (v případech kdy půjde o SCD2) a 1=1 (v případech kdy půjde pouze o SCD1).


Poté již IKM bude fungovat tak jak má pro oba dva typy SCD.

Kód pro SCD1 bude vypadat následovně - obsahuje pouze WHERE 1=1 AND ...:



Kód pro SCD2 bude vypadat následovně - obsahuje WHERE (sloupce s „Add Row on Change“) AND 1=1 AND ...)




Erik Eckhardt.

Oracle SQLDeveloper - hvězda místo "Go to File"

Jeden tip mimo oblast BI/DW, který ale zvýšil mou produktivitu psaní SQL o 50% :)

Používáte-li SQLDeveloper a českou klávesnici na notebooku (nemáte numerickou), pak jste nejspíše při psaní "select * ..." místo "*" dostali menu "Go to File" (znak hvězda vkládám pomocí kláves "pravý Alt" a "-").


Ti z vás, kteří píší znak "*" stejným způsobem jako já, pak musí přepnout klávesnici na anglickou a hvězdu vložit standardně přes "Shift" a "8", což v mém případě snižuje mou produktivu vývoje sofistikovaných SQL dotazů typu select * from tabulka o 50%.


Chcete-li opět aby SQLDeveloper vkládal znak "*", pak jděte do menu Tools > Preferences... > Accelerators a v menu Category vyberte Navigate > Go to File... a nakonec tlačítko Remove.



Poté Váš SQLDeveloper bude opět umět na české klávesnici stiskem "pravý Alt" a "-" vkládat znak *.


Erik Eckhardt.

Český manuál k OBI EE / OBI SE-1

Součástí Oracle BI EE / SE-1 je anglická dokumentace v elektronické podobě. Česká verze pro koncové nástroje jako je BI Interactive Dashboards, BI Answers, BI Delivers nebo Marketing je k dispozici v podobě online nápovědy, která se zobrazí po stisku ikony "?".


Potřebujete-li tuto nápovědu dodat Vašim uživatelům v tištěné podobě, pak veškeré zdrojové texty najdete v adresáři ...\OracleBI\web\app\olh\l_cs\.


Za tip patří díky Jirkovi Doubravskému z PIKE ELECTRONIC.


eec.

BI Apps 7.9.5.2 s ODI – konfigurace a tipy pro BIA Configuration Manager

Nedávno jsem psal o dvou nových verzí BI Apps, kde z mého technologického zaměření je zajímavější verze 7.9.5.2, ve které je místo Informatica Serveru použit Oracle Data Integrator.
S ODI přichází ještě jedna změna, a to nahrazení DAC - Data Warehouse Administration Console (tlustý klient fungující pouze na Windows) za webovou aplikaci BI Applications Configuration Manager (BIACM).


Pomocí BIACM se oproti DAC vykonávají pouze základní úkony typu:

• Administer E-LT Parameters
• Administer Subject Areas
• Administer Execution Plans
• On-demand Execute Execution Plans
• Monitor Executions
  

Ostatní typy úkonů, jako například plánovat spouštění přenosů nebo detailní monitorování průběhu přenosů, jsou dostupné přímo v ODI.


Instalace a konfigurace
Instalace a konfigurace celých BI Apps 7.9.5.2 s ODI je bezproblémová a v porovnání oproti instalaci s Informatica Serverem i rychlejší, tj. ten kdo někdy instalovali BI Apps s Informatica Serverem, tak ví, že musí provést 10 instalačních kroků na 3 serverech a nakonfigurovat 7 různých připojení, zatímco u BI Apps s ODI děláte 7 instalačních kroků, potřebujete pouze 1 server a konfigurujete pouze 3 připojení.


Jestliže při instalaci budete postupovat podle instalační příručky, pak se celé BI Apps nainstalují v pořádku.


Tipy pro BIACM
Přesto mám 3 tipy, které Vám ušetří čas místo marného zkoumání a zjišťování, kde jste během instalace udělali chybu, tak jako já. Tipy se týkají nastavení prostředí pro aplikaci BI Applications Configuration Manager (BIACM):


1. Start BIACM skončí s chybou java.lang.out.of.the.memory.error
Stane-li se Vám, že při připojení se na aplikaci BIACM (http://server:7001/biapps/) dostanete chybu java.lang.out.of.the.memory.error, pak je potřeba změnit hodnoty paměťových parametrů WebLogic AS.

Editujte soubor setDomainEnv.sh (linux) nebo setDomainEnv.cmd (windows) a zvyšte hodnoty proměnných určující paměťové parametry serveru: MEM_PERM_SIZE, MEM_MAX_PERM_SIZE a MEM_ARGS.


2. V aplikaci BIACM chybí texty (Mozilla 3.x) nebo se zobrazují jako ?parametr_name? (Mozilla 2.x).


Chyba je v nastavení internetového prohlížeče. Přehoďte si pořadí jazyků v prohlížeči, na první místo dejte English [en].



3. Chyba "JBO-2001" při přístupu na stránku Monitor Execution


Chyba vznikne v případě, že regionální nastavení Operačního systému serveru je jiné než US. Přepněte prostředí na US (linux proměnná, windows regional&language option) a poté bude BIACM fungovat v pořádku.




Erik Eckhardt.

Úpravy značek měřítka grafu

Poměrně jednoduchou a efektní metodou, jak upravit grafy v Oracle BI, je využívat volbu úpravy značek měřítka grafu. Její méně známé možnosti – vkládání pomoných čar či pruhů - se pokusím ilustrovat na jednoduchém příkladě.

Vytvořil jsem si pohled:



Jehož výsledkem je tento sloupcový graf:


Zvolíme měřítka osy a v další volbě vybereme Upravit značky měřítka měřítka osy.


Nejjednoduší úpravou je vložit do grafu pomocnou čáru nebo pruh v určité hodnotě.


Výsledkem je graf:


Jinou možností je vložit pomocnou čáru v hodnotě některého sloupce:


Hodnotu First Column vytvoříme tak, že zvolíme Rozšířené možnosti (značka ručky nalevo od políčka Barva). Zaklikneme-li Název sloupce a zvolíme-li Unit, pomocná čára se vytvoří automaticky v hodnotě reprezentované prvním sloupcem.


Pro pomocnou čáru ve výši hodnoty Third column, tj. třetí sloupec se již nevyhneme použití SQL dotazu:


Výsledkem je graf, kde černá čára symbolizuje hodnotu prvního sloupce a hnědá hodnotu třetího sloupce.


Samozřejmě pro umístění pomocných čar v grafu je možné použít v SQL dotazech i agregační funkce:


Použijeme-li postupně agregační funkce min(), max(), avg(), dopracujeme se k tomuto grafu:

Jiří Doubravský (PIKE ELECTRONIC)

Jak v ODI vyvíjet vlastní Znalostní moduly

Na otn je nově publikován pěkný článek o tom, jak vyvíjet vlastní Znalostní moduly. V článku je ukázán postup vývoje IKM, tj. Integration Knowledge Modul.

Článek je dostupný zde.



eec.

Jak přidat podporu nových technologií do ODI

V současné verzi ODI je jeho součástí něco kolem 50 out-of-the-box předdefinovaných technologií, které ihned můžete začít využívat. Může se ovšem stát, podobně jako v mém případě, že zrovna ta kterou potřebujete zde není.

Ale to nevadí, ODI je v tomto směru velice flexibilní a dovoluje Vám nové technologie jednoduše přidávat, případně stávající upravovat.


Jak přidat novou technologii do ODI
Samotná definice je v ODI poměrně triviální záležitost, naopak co nemusí být triviální je znalost nové technologie. Proto je dobré mít po ruce dokumentaci typu „SQL Reference Manual“, případně se při vytváření inspirovat nějakou již hotovou technologií podobného typu.

V mém případě definuji novou technologii typu „Databases ...“:


1/ Spusťte ODI Topology Manager a zalogujte se k Master Repository

2/ Ve Fyzické architektuře vyberte Technologies -> pravá myš -> Insert Technology



3/ Záložka Definition - doplňte název technologie, typ, podporu zacházení s daty, pojmy které technologie využívá a jak se odkazuje na objekty.



4/ Záložka SQL – doplňte Where a Joins klauzule a jak získat systémový datum a čas. Spodní záložky „Reverse ...“ jsou důležité pouze pro generování DDL z Vašeho modelu (nebudete-li v ODI manuálně model vytvářet / upravovat, tak je nemusíte vyplnit).



5/ Záložka Others – vše jasné



6/ Záložka Language – v případě DBMS vyberte SQL



7/ Jakmile budete mít vytvořenou technologii, tak standardním způsobem založte jeden Data Server, přes který se provede Reverse Engineering datových typů



8/ Ovladač k nové technologii je zapotřebí nakopírovat do adresáře ../oracledi/drivers/ a to jak na všechny vývojové stanice kde poběží ODI Developer, tak i na všechny Runtime servery kde poběží ODI Agent!
V případě, že po vyplnění třídy driveru a url adresy nepůjde otestovat připojení, restartujte ODI – po restartu se driver automaticky načte. Ovladač, třídu a url si vyžádejte u dodavatele technologie.



9/ Po vyplnění Data Serveru opět otevřete novou technologii a klikněte na tlačítko Reverse - ODI automaticky načte všechny datové typy.



10/ Potřebujete-li, upravte syntaxi jednotlivých datových typů – ODI ji využívá při automatickém zakládání work/stage tabulek, případně cílových tabulek při spuštění Interface.



11/ Pro jednotlivé datové typy nastavte konverzi na ostatní technologie – záložka „Converted To“. Hodnoty na záložce „Converted From“ se přímo upravit nedají. Musíte jít do dané (stávající) technologie a nastavit „Converted To“ na novou technologii.
Rozhodně nemá smysl nastavovat konverzi datových typů pro všech 50 stávajících technologií, ale pouze pro ty, mezi kterými budete provádět integrace.



12/ Nyní již do nové technologie můžete klasickým způsobem přidávat Fyzická schémata.

Možná ješte jeden tip: ODI si standardně pojmenovává pomocné tabulky s prefixem obsahujícím znak „$“. Některé technologie mít v názvu tabulky znak „$“ neumožňují :(



Nová technologie a Znalostní Moduly (Knowledge Moduls - KM)
Součástí ODI je dodáváno okolo +150 „out of the box“ Znalostních modulů pro různé technologie a oblasti datové integrace. Z toho je velká část KM označena jako "ISO-xx compliant".
Je-li Vaše nově zadefinovaná technologie DBMS, pak ihned můžete tyto KM začít využívat, případně pro zvýšení výkonu je upravovat, a nebo začít vytvářet vlastní.

Příklad KM, které můžete využít:

Reverse Engineering Metadat - Reverse KM

• RKM SQL (JYTHON)
  

Nahrání ze Zdroje do Stage - Load KM

• LKM Attunity to SQL
• LKM DB2_400 Journal to SQL
• LKM File to SQL
• LKM Hyperion Essbase DATA to SQL
• LKM Hyperion Essbase METADATA to SQL
• LKM Hyperion Financial Management Data to SQL
• LKM Hyperion Financial Management Members To SQL
• LKM JMS to SQL
• LKM JMS XML to SQL
• LKM MSSQL to SQL (ESB XREF)
• LKM SAS to SQL
• LKM Siebel to SQL (EIM)
• LKM SQL to DB2 400 (CPYFRMIMPF)
• LKM SQL to DB2 UDB (LOAD)
• LKM SQL to DB2 UDB
• LKM SQL to MSSQL (BULK)
• LKM SQL to MSSQL
• LKM SQL to Oracle
• LKM SQL to SAS
• LKM SQL to SQL (ESB XREF)
• LKM SQL to SQL (JYTHON)
• LKM SQL to SQL (row by row)
• LKM SQL to SQL
• LKM SQL to Sybase ASE (BCP)
• LKM SQL to Sybase ASE
• LKM SQL to Sybase IQ (LOAD TABLE)
• LKM SQL to Teradata (TTU)
• LKM Oracle BAM to SQL
  

Datová kvalita - Check KM

• CKM SQL
  

Transformace ze Stage do Cíle - Integration KM

• IKM SQL Control Append (ESB XREF)
• IKM SQL Control Append
• IKM SQL Incremental Update (row by row)
• IKM SQL Incremental Update
• IKM SQL to File Append
• IKM SQL to Hyperion Essbase (DATA)
• IKM SQL to Hyperion Essbase (METADATA)
• IKM SQL to Hyperion Financial Management Data
• IKM SQL to Hyperion Financial Management Dimension
• IKM SQL to Hyperion Planning
• IKM SQL to JMS Append
• IKM SQL to JMS XML Append
• IKM SQL to Siebel Append (EIM)
• IKM SQL to SQL Append
• IKM SQL to Teradata (TTU)
• IKM SQL to Oracle BAM (upsert)
• IKM SQL to Oracle BAM (update)
• IKM SQL to Oracle BAM (looksert surrogate)
• IKM SQL to Oracle BAM (looksert natural)
• IKM SQL to Oracle BAM (insert)
• IKM SQL to Oracle BAM (delete)
• IKM SQL to BAM (looksert surrogate)
  

Webové služby - Service KM

• SKM SQL

Erik Eckhardt.

Oracle Data Integrator Demo Webcast

Product Management za ODI jednou za čas pořádá veřejný webcast na Oracle Data Integrator. Webcast má vždy stejnou agendu - na začátku představení ODI a jeho vlastností a poté se zaměří na jednu vlastnost, kterou probere podrobně.

• Aktuální webcast najdete zde.
  
  
• Nahrané archivní webcasty zde.

eec.

Hlasování o nejlepší BI Dashboard - soutěž k příležitosti 9. setkání uživatelů DW a BI je ukončena!

Vážení přátelé,

děkujeme vám všem, kteří jste se zúčastnili "Online soutěže k příležitosti 9. setkání uživatelů DW a BI". Z celkového počtu 78 zaregistrovaných účastníků jich 10 splnilo podmínky pro účast v soutěži o ceny.

Samotné hlasování o "Nejlepší BI Dashboard" probíhá formou ankety, kterou najdete na pravé straně BI /DW Blogu. Stačí když ze seznamu soutěžících BI Dashboardů (najdete je níže) vyberete ten nejlepší a klikem v anketě mu dáte svůj hlas (hlasovat můžete do 30.6.2009 včetně).

A jaká byla odezva zúčastněných na Oracle BI? Hodnotilo se jako ve škole 1-nejlepší, 5-nejhorší. (výsledné hodnoty jsou zprůměrované):

* 2 - Intuitivnost tvorby reportů/analýz
* 1,4 - Intuitivnost tvorby BI Dashboardu
* 1,5 - Celkový dojem z Oracle BI


S pozdravem

Erik Eckhardt a Josef Krejčí.


Soutěžící BI Dashboardy o ceny (pořadí dle data zaregistrování)

#1 - MIP



#2 - Panel Obchodniho Reditele



#3 - Information Dashboard



#4 - Region Dashboard



#5 - TMDashboard



#6 - Sales Dashboard



#7 - SvMartin Dashboard



#8 - BigBoss Dashboard



#9 - BI Report



#10 - CEO Dashboard