Czech BI/DW Blog: ledna 2009

pátek 30. ledna 2009

Největší konference pro vývojáře Oracle Develop přichází do Prahy

Neváhejte a zúčastněte se největší konference pro vývojáře Oracle Develop, která se koná 10.–11. února 2009 v Clarion Congress Hotel Prague Freyova 33, Praha 9 - Vysočany. Zaregistrujte se nyní.

Na konferenci Oracle Develop budou:

Keynotes od vedoucích vývoje v Oracle Marka Townsenda a Dennise Leunga
Více než 35 technických seminářů a hands-on workshopů vedených uznávanými odborníky
Přednášky pokrývající Rich Enterprise Applications, Javu, databáze, SOA a další
Diskuze s experty společnosti Oracle a s kolegy z oboru

Po Číně, Indii a Rusku je Česká republika čtvrtou a poslední zastávkou konference Oracle Develop na cestě k vývojářům. Develop je po Oracle OpenWorldu druhou největší světovou událostí společnosti Oracle pro IT veřejnost. Nezmeškejte jedinečnou příležitost a přijďte si s ostatními vývojáři vyměnit informace o nejnovějších trendech, technologiích a osvědčených postupech.

Přispějte do diskuze Oracle Develop Oracle Mix group a spolupracujte na Oracle Develop wiki network.

Nenechte si ujít příležitost k zviditelnění produktů a řešení vaší společnosti. Seznamte se s možnostmi partnerství na konferenci.

Zaregistrujte se online.

pondělí 26. ledna 2009

ODI – Jak udělat textový extrakt z libovolné databáze

Potřebujete-li z libovolné databáze vygenerovat textový extrakt pak v ODI můžete použít Integrační Knowledge Moduly „IKM to File“ (viz. dále) nebo OdiSqlUnload.

Pro datové zdroje jako je Teradata, Netezza a SalesForce jsou k dispozici Knowledge Moduly, které pro export dat do textových souborů využívají nativní funkcionalitu (bulk utility) těchto platforem:

IKM Teradata to File (FASTEXPORT, TTU)
IKM Netezza to File (EXTERNAL TABLE)
IKM SalesForce to File

Pro ostatní databáze je k dispozici obecný Knowledge Modul „IKM SQL to File Append“, který vytvoří textový extrakt do souboru s oddělovači (Delimited format).

Jak používat „IKM SQL to File Append“

1/ Do již existujícího nebo do nového projektu naimportujte Knowledge Modul „IKM SQL to File Append“ (Jak založit projekt a importovat KM najdete zde).

2/ Vytvořte definici výstupního souboru (název, sloupce, datové typy, oddělovač, ...) pomocí:

I/ Reverse-engineering – předpokladem je, že soubor již ve file systému existuje
II/ Kopírování z jedné technologie (databáze) do druhé (soubor) – jestliže je soubor kopií tabulky pak jde o nejrychlejší způsob
III/ Manuálně:

a/ Založte nový Model v technologii „File“ a vyberte Logickou architekturu (Logical Schema – více viz. zde)

b/ Vložte nový Datastore

c/ Na záložce Definition pojmenujte Datastore a přidejte příponu ".txt" do Resource Name

d/ Na záložce Files nastavte File Format, Heading, Record a Field Separator

e/ Na záložce Columns nadefinujte požadované sloupce

3/ Do Vašeho projektu založte nový Interface a na záložce Diagram vytvořte mapování/transformaci mezi zdrojem (databáze) a cílem (textový soubor). Step-by-step postup najdete zde.

4/ Aby vše fungovalo je potřeba přesunout pracovní oblast ODI. Přejděte na záložku Definition, zde zaškrtněte volbu „Staging Area Different From Target“ a ze seznamu vyberte lokaci ve které jsou umístěny zdrojové databázové tabulky pro plnění souboru

5/ Přejděte na záložku Flow, klikněte na cíl (Target) a nastavte chování Knowledge Modulu „IKM SQL to File Append“ – v případě, že textový soubor ještě neexistuje tak nastavte TRUNCATE = Yes (soubor bude založen).
Poznámka: Pomocí volby TRUNCATE řídíte chování exportu do souboru - tj. zda se nová data mají přidat na konec souboru a nebo zda soubor bude opětovně založen.

6/ Spusťte Interface a na záložce Execution můžete vidět stav běhu

7/ Podívejte se na výsledek:

a/ Model > MujExtract > pravé tlačítko myši > View Data

b/ Soubor na file systému:

Erik Eckhardt.

čtvrtek 22. ledna 2009

Business Model nemusí být jen hvězda

Není pravda, že Business Model musí být jen ve tvaru hvězdy - může mít i tvar vločky. Výhodou modelu ve tvaru vločky je automatické vybudování hierarchie pro dimenze včetně všech úrovní a klíčů. Nevýhodou je spletitost/složitost Business Modelu, který obsahuje více tabulek, sloupců a vazeb.

Jak na to

1/ Naimportujete datové struktury z databáze do Fyzické vrstvy. Doplníte chybějící klíče a vazby. Vytvoříte Business Model do kterého překopírujete Fyzickou vrstvu .

2/ Označíte tabulku, která má přímou vazbu s faktovou tabulkou a z menu vyberete „Create Dimension“

3/ Výsledkem je automaticky vygenerovaná hierarchie včetně všech urovní

Erik Eckhardt.

pondělí 19. ledna 2009

Služba Oracle BI Presentation Server spadne při práci s kontingenční tabulkou

V případě, že během práce s kontingenční tabulkou Vám spadne služba Oracle BI Presentation Server, a máte OBIEE verze 10.1.3.4.0.080726.1900, pak Vám pravděpodobně pomůže Patch 7140673 - OBI PRESENTATION SERVER CRASH IN PIVOT TABLE.

Tento patch získáte po zalogování TARu na Metalinku3.

Za upozornění patří díky Jakubovi Genžovi.

eec.

čtvrtek 15. ledna 2009

Oprava Knowledge Modulu – LKM File to Oracle (EXTERNAL TABLE)

V případě, že uvažujete pro load textových extraktů do databáze využít Knowledge Modul (KM) s názvem „LKM File to Oracle (EXTERNAL TABLE)“ pak se Vám bude hodit následující:

ODI v tomto KM používá External Table – vlastnost umožňující zpřístupnění externích textových souborů formou databázových tabulek.

KM (Version: 4.0, Last Update: DEC-2004) při vytváření Externí tabulky spadne na chybu ORA-30657:

Důvodem je, že Externí tabulka se vytváří s parametrem NOLOGGING:

Jestliže parametr NOLOGGING z KM odstraníte pak load proběhne v pořádku. Postup jak upravit KM najdete zde.

Erik Eckhardt.

pondělí 12. ledna 2009

Rozšíření Knowledge Modulu - LKM File to Oracle (SQLLDR)

V případě, že uvažujete pro load textových extraktů do databáze využít Knowledge Modul (KM) s názvem „LKM File to Oracle (SQLLDR)“ pak se Vám může hodit následující:

ODI v tomto KM používá SQL*Loader – Oracle utilita pro dávkové načítání textových souborů do databáze.
Control file pro SQL*Loader je automaticky generovaný z tohoto KM (Version: 4.0, Last Update: DEC-2004) a počítá s tím, že vstupní sada záznamů bude úplná, tj. bude obsahovat všechny zadefinované sloupce.

Příklad vygenerovaného Control file:
...
INTO TABLE ODI_TMP.C$_0INT_OSSZ
(
C4_ORG_STRUKTURA,
C1_UCT_ROK,
C3_UCT_MESIC,
C5_UCT_SSZ,
C2_UCT_SSZ_MADATI,
C6_UCT_SSZ_DAL
)

Počítá s tím, že zdrojový soubor bude mít všech 6 sloupců, např.:
110|2005|10|205011|20363462,96|1535030480,30
110|2005|10|205012|16359837,87|341012197,91
110|2005|10|205013|21984753,00|163126610,37

V případě, že záznam má sloupců pouze 5:
|2005|10|205011|20363462,96|1535030480,30 (1. sloupec je prázdný – no problem)
110|2005||205012|16359837,87|341012197,91 (3. sloupce je prázdný – no problem)
110|2005|10|205013|21984753,00| (6. sloupec chybí – problem!)

Pak celý load skončí s chybou:

V „bad filu“ (soubor SQL*Loaderu) je uveden chybný záznam:
110|2005|10|205013|21984753,00|

A do „log filu“ (soubor SQL*Loaderu) je vygenerovaná hláška a rada:
Záznam 3: odmítnut - chyba v tabulce ODI_TMP.C$_0INT_OSSZ, sloupec C6_UCT_SSZ_DAL Sloupec nenalezen před koncem logického záznamu (užijte TRAILING NULLCOLS)

Jestliže KM „LKM File to Oracle (SQLLDR)“ rozšíříte o TRAILING NULLCOLS, pak load proběhne v pořádku a místo chybějícího 6. sloupce bude vložena hodnota NULL.

Jak upravit Knowledge Modul:

1/ Zkopírujte KM: vyberte KM > pravé tlačítko myši > Duplicate