čtvrtek 29. října 2009

ODI a OutOfMemoryError

Nedávno se mi na jednom projektu stalo, že jsem v ODI na svém počítači vyvinul transformační pumpy (Interface), které se na jiném počítači již nedařilo otevřít.
Během otevírání ODI Interface (ve fázi načítání grafického zobrazení transformace) vždy došlo k chybě "Diagram can not be loaded ...... java.lang.OutOfMemoryError ....".
Po bližší analýze jsem zjistil, že na daném PC je nainstalovaná jiná verze Javy, která konzumuje mnohem více paměti než ta moje.

Řešením bylo zvětšit defaultní hodnoty ODI parametrů (ODI_INIT_HEAP, ODI_MAX_HEAP) které ovlivňují kolik paměti budou mít ODI komponenty k dispozici.
  • ODI_INIT_HEAP - Initial java machine heap size used by OracleDI modules (defaultní hodnota po instalaci je 32MB)
  • ODI_MAX_HEAP - Maximum java machine heap size used by OracleDI modules (defaultní hodnota po instalaci je 256MB)

Parametry se mění v souboru .../oracledi/bin/odiparams.bat (instalace na Windows), .../oracledi/bin/odiparams.sh (instalace na Linux / Unix).


Erik Eckhardt

pondělí 26. října 2009

Oracle Day 2009


19.11.2009 proběhne v Top Hotel Praha největší Oracle konference která kdy v ČR byla pořádána. Dopolední část je více zaměřená na business a strategii, odpolední část je rozdělena do paralelních sekcí se zaměřením na technologie (Databáze, Middleware, Bezpečnost), aplikace (OAUG) a vybraná průmyslová odvětví (Veřejný sektor, Zdravotnictví a pojišťovnictví, Obchod a průmysl, Finanční sektor).

Samotnou sekci zaměřenou pouze na DW/BI zde nenajdete, ale jednotlivé DW/BI technologie a aplikace jsou obsaženy v následujících sekcích:

Exadata
  • Databáze (Sun Oracle Database Machine - Extrémní výkon pro OLTP I DWH)
  • Finanční sektor (EXADATA V2 - eXtremní výkon pro finanční aplikace a datové sklady)
ODI
  • Middleware (Když Service Bus nestačí přidejte Data Integrator)
BI/EPM
  • OAUG (Zkušenosti s Oracle Hyperion)
  • OAUG (Využití Oracle JD Edwards v provozu a reportingu společnosti KRPA)
  • Finanční sektor (Představení nové generace aplikací Oracle Financial Services Analytical Applications)
  • Obchod a průmysl (Analytické aplikace: Předpřipravené řešení pro rychlé získání dat, analýz a výstupů z ERP a CRM systémů)


Registrační stránka a detailní informace o konferenci najdete zde.


Erik Eckhardt

čtvrtek 22. října 2009

Nové demo na BI Demo Serveru

Během léta jsem pracoval na POC pro jednu telekomunikační společnost. Jelikož problematika POC byla docela zajímavá (sledování poruchovosti provozovaných služeb a jejich následné řešení jednotlivými servisními středisky) domluvil jsem se zákazníkem možnost umístění vytvořeného POC na náš BI Demo Server.


POC vychází z reálného datového modelu, pouze veškeré hodnoty ukazatelů jsou zkresleny a číselníky/dimenze jsou anonymizovány - tzn. podobnost s vašimi reálnými službami a servisními středisky je čistě náhodná.





Erik Eckhardt.

pondělí 19. října 2009

Oracle Warehouse Builder 11gR2

Spolu s druhým releasem Oracle Database 11g byl v září uvolněn i druhý release Oracle Warehouse Builder 11g. Narozdíl od prvního release verze 11, která byla víceméně stejná jako verze OWB10gR2, je v současné verzi řada vylepšení a novinek (detailní seznam viz. níže).

Mezi ty nejdůležitější určitě bude patřit nativní podpora heterogenních zdrojů, Code-Template Mapping, webové služby a generování metadata repository pro Oracle Business Intelligence Enterprise Edition.

Tři výše uvedené jsou v současné chvíli prvním krokem integrace klasického OWB a ODI (v únoru 2009 jsem psal o vzniku nové edice s názvem Oracle Data Integrator Enterprise Edition, která licenčně spojuje Oracle Data Integrator a placenou DB Option OWB Enterprise ETL, která od té doby přestala být samostatně prodejná).

Zajímá-li vás roadmapa pro Oracle Warehouse Builder, pak ji najdete zde, Statement of Direction nejdete zde.

OWB11gR2 si můžete stáhnout z OTN
Bohužel stejně jako Oracle Database 11gR2 je i OWB11gR2 v současné době dostupné pouze na platformě Linux - tzn. chcete-li začít vyvíjet v novém OWB musíte mít jako OS klientské stanice Linux a nebo spustit OWB na některém z vašich Linux serverů a např. přes VNC nebo jiný remote desktop se k němu přihlásit.

Seznam nových vlastností OWB11gR2, seskupeno podle kategorií:
Upozornění: Z pohledu licencování mohou být některé nové vlastnosti použity pouze v případě, že vlastníte licenci Oracle Data Integrator Enterprise Edition. Seznam licencovaných vlastností najdete zde.

Native Support for Heterogeneous Databases

OWB now provides extensive built-in support for non-Oracle databases. JDBC connectivity is added alongside previous support for ODBC and database gateways, and OWB now supports in-database ELT operations on non-Oracle databases. Other enhancements improve access to data from non-Oracle sources such as mainframe and flat file data.

Features in this area include:

SOA Integration Enhancements for ETL and Data Quality

The ETL and data quality functionality in OWB can now be integrated into SOA-style architectures.

Features in this area include:

Data Warehousing and Business Intelligence Enhancements

The data warehousing-specific support in OWB has improved. These improvements provide smarter dimensional object operators for ETL and support for more storage types for dimensional objects.

Features in this area include:

Administrator Usability Enhancements

OWB administration tasks are simplified and improved by a number of features in this release. Administration has been extended to support new feature areas such as heterogeneous database support and Web services integration.

Features in this area include:

ETL Mapping Enhancements

ETL mappings have been enhanced to add new transformation capabilities and to improve the productivity of developers working with flat files and designing and debugging ETL mappings.

Features in this area include:

Process Flow Enhancements

OWB process flows have been enhanced to integrate with new activity types, out of the box, and to support integration of OWB ETL and data quality with SOA solutions.

Features that enhance process flows include:


Kompletní seznam nových vlastností OWB11gR2 je dostupný zde, dokumentaci najdete zde.



Erik Eckhardt.

čtvrtek 15. října 2009

Vytváranie Essbase kocky pomocou Essbase Studio 11g

Súčasťou EPM platformy v11 je nástroj Essbase Studio, ktorý poskytuje prostredie pre modelovanie dát, definíciu hierarchií a návrh Essbase kocky.


Úvod
Prv, ako si predstavíme Essbase Studio, uvediem pár slov ku štruktúre Essbase kocky. Essbase kocka pozostáva z dimenzií. Členovia dimenzie sú usporiadaní do hierarchickej štruktúry. Prvky jednej úrovne sa konsolidujú na vyššiu úroveň na základe definovaného konsolidačného operátora (Sčítanie, Odčítanie, Násobenie, Delenie, Percenta, Ignore). Tu je príklad Essbase Outline – definície Essbase kocky v nástroji Essbase Administration Services:



V nasledujúcom texte popíšem, ako sa dá zadefinovať štruktúra Essbase kocky a nahrať do nej dáta z Oracle DB. Ako demo dáta si zoberiem schému používateľa „andemo“, ktoré sú použité v deme Oracle BI Dashboards (štruktúra dát popísaná ďalej v texte).

Pre potreby tohto dema je potrebné mať naštartovanú databázu, kde je uložené Essbase repozitoty a nasledovné Windows Services z Hyperion platformy:



Štart Essbase Studio
Essbase Studio je súčasťou Essbase platformy a po inštalácii sa nachádza v skupine Oracle EPM System –> Essbase –> Essbase Studio. Najprv treba naštartovať Essbase Server (nie je definovaný ako Windows service) a potom spustiť Essbase Studio Console. Prihlásiť sa možno ako používateľ admin s heslom password. Po prihlásení sa objaví obrazovka s troma panelami:
  • Source Navigator (vpravo)
  • Workarea
  • Metadata Navigator


1. Pripojenie k dátovému zdroju Oracle DB
Upozornění: Pro vyzkoušení si níže uvedeného příkladu si můžete data (Excel) a jejich popis stáhnout zde.

Úplne prvý krok je pripojenie sa k dátovému zdroju, z ktorého budeme čerpať nielen dáta ale aj položky, z ktorých budú pozostávať dimenzie. V pravej časti Source navigatora sú dve záložky „Data Sources“ a „Minischemas“. Označíme si Data Sources – pravý klik New – Data Source



Connectio Name – označenie pripojenia, u mňa „MyORCL“
Datasource Type – typ databázy, okrem Oracle DB su podporované nasledovné zdroje: MS SQL, IBM DB2, Oracle BI Server, Essbase, Dimension Server (je súčasťou EPM Architekt), text file.
V nižšej časti zadáme identifikátory Oracle databázy, posledný riadok „Database Name“ označuje schému používateľa.

V nasledujúcom kroku vyberieme tabuľky, ktoré budú použité na definovanie dimenzií pre Essbase kocku. Na úrovni DB je definovaná star schema pozostávajúca z nasledovných tabuliek: PRODEJ je faktová tabuľka, GEOGRAFIE, OBDOBI, PRODKANAL su dimenzionálne tabuľky. Tieto tabuľky budú základom Essbase modelu.



V ďalšom kroku si dáme vytvoriť Minischému, ktorá nám v grafickej podobe zobrazuje vzťah medzi tabuľkami, prípadne môžme tento vzťah dodefinovať. V tomto kroku máme možnosť využiť Introspection, ktorá odhaľuje hierarchie v dimenzionálnych tabuľkách. Výsledok nám môže ušetriť čas, avšak automaticky detekované dimenzie nie sú vždy korektné.



V tomto kroku ukončíme definovanie dátového zdroja, kliknutím na „Finish“ sa v strednej časti obrazovky („Work area“) zobrazí Minischéma.



Keďže na úrovni databázy nie sú nadefinované foreign keys, treba tieto vzťahy dodefinovať ručne v grafickom editore drag&drop od stĺpca faktovej tabuľky na stĺpec dimenzionálnej tabuľky. Pritom sa objavi editor, kde skontrolujeme a potvrdíme postupne tieto join podmienky:

PRODEJ.PRODKANAL_ID = PRODKANAL. PRODKANAL_ID
PRODEJ.GEOGRAFIE_ID = GEOGRAFIE.GEOGRAFIE_ID
PRODEJ.OBDOBI_ID = OBDOBI.KVARTAL_ID



2. Definovanie metadát
Presunieme sa do ľavej časti – Metadata navigator, kde si vytvoríme nový adresár (Folder) „Andemo“, v ktorom budú uložené všetky metadáta týkajúce sa nášho projektu. V adresári „Andemo“ vytvoríme podadresár „DimElements“, kde budú uložené položky použité pri definícii Essbase kocky. Postup:

A/ V časti Data Sources – pripojenie MyORCL označíme všetky štyri tabuľky a drag&drop ich prenesieme do Metadata Navigatora do adresára DimElements.

B/ Vymažeme stĺpce, ktoré nebudeme potrebovať, výsledok na nasledujúcom obrázku. Pri výbere si môžeme pomôcť náhľadom na dáta, v časti Data Sources si označíme tabuľku, pravý klik – View Sample Data



C/ DimElement môže byť odvodený od hodnoty stĺpca, pričom je možné využiť sadu preddefinovaných funkcií (toto je len ukážka)



Ďalším krokom je definícia dimenzií. V adresári „DimElements“ vytvoríme adresár „Hierarchies“, v ňom New –> Hierarchy. Prvú hierarchiu si pomenujeme Obdobie a Drag&Drop si do tabuľky v dolnej časti prenesieme DimElement Rok a Kvartal. Kvartal odsunieme o úroveň vpravo (tlačítko so šipkou). Takto definovanú hierarchiu si môžeme pozrieť pomocou tlačítka „Preview“. Definíciu hierarchie uložíme „Save“. Podobne vytvoríme hierarchie Geografie (EU_Celkem -> Stat) a ProdKanal (má iba jednu úroveň ProdKanal).



Na záver pridáme „Measure Hierarchy“ s názvom Predaj. Postup ten istý, Naklad a Vynos su na tej istej úrovni. Do tejto dimenzie pridáme novú položku Zisk. Klikneme tlačítko Add – > User-defined sibling, názov Zisk a posunieme túto položku na prvé miesto tabuľky, Vynos a Naklad odsunieme doprava. Spôsob výpočtu zisku nadefinujeme neskôr. Definíciu hierarchie Predaj uložíme kliknutím na „Save“.



3. Vytvorenie Cube Schema a Essbase modelu

Ďalším krokom je definovanie Cube Schema. Cube obsahuje definície jednotlivých hierarchií a nameraných hodnôt (measures), na základe ktorých sa buduje Essbase model. V Metadata Navigatore si označíme adresar Andemo -> pravy klik na myš –> New –> Cube Schema. Objaví sa Wizard, kde označíme Predaj ako Measure Hierarchy a Obdobie, Geografie, ProdKanal ako Hierarchies:



V ďalšom kroku označíme: Create Essbase Model a klikneme na tlačítko Finish.



V jednom kroku sa nám vygeneruje Cube Schema aj Essbase Model, ktorý môžme vidieť v strednej časti.



Vygenerovaný Essbase Model môžeme nasadiť na Essbase server pomocou Cube Deployment Wizardu (opäť pravý klik na myš, keď sme nastavený na Essbase modeli). Najprv vytvoríme pripojenie ku Essbase serveru.



Ďalej zadáme meno aplikácie a meno databázy, ktoré budú vygenerované spolu s Essbase kockou. Ďalšie voľby v Deployment Wizarde:
  • Load task Type – vyberieme Build outline and load data
  • Load Data Options – má zmysel pri inkrementálnom load-e, pri prvom loade použijeme Add to existing data.



Kliknutím na „Model Properties“ môžeme definovať vlastnosti špecifické pre Essbase, ako sú:
  • Na úrovni modelu sa definuje typ aplikácie (Block Storage, ktorý je default, resp. Aggregate Storage)
  • Na úrovni hierarchie sa definuje Dimension storage: Dense/Sparse (len v prípade Block Storage)
  • Na úprovni členov dimenzie Consolidation (operátor pre konsolildáciu členov na vyššiu úrovaň) a Data Storage. Viď obr. nižšie.

Toto je miesto, kde nadefinujeme vzťah pre výpočet zisku: VÝNOS s konsolidačným operátorom + (addition), NÁKLAD s konsolidačným oprátorom – (subtraction). To znamená, že Zisk sa bude počítať ako VÝNOS – NÁKLAD. ZISK je zadefinovaný s operátorom + (addition), čo znamená, že táto hodnota sa bude prenášať aj na najvyššiu úroveň hierarchie, čo je Predaj.



Kliknutím na tlačítko „Close“ prebehne validácia zadaných hodnôt. Ak je všetko v poriadku, dostaneme sa späť do obrazovky Cube Deployment Wizard. Kliknutim na tlačítko „Finish“ prebehne deployment na Essbase server.



Úspešný Deployment môžeme skontorlovať cez Essbase Administratrion Services. Takto vyzerá vygenerovaný Outline pre našu aplikáciu Andemo:



A toto je náhľad na dáta pomocou SmartView.



Prípadné chyby z deployemntu môžete nájsť v adresári HYPERION_HOME\logs\esbstudio \server.log. V tomto súbore je zaznamenaný aj vygenerovaný SQL príkaz pre zdrojovú DB. Takže, ak by náhodou bola databáza po deploymente prázdna, treba sa zamerať na tento SQL príkaz.


Gabriela Hečková (Oracle Slovensko)

pondělí 12. října 2009

OpenWorld 2009

Včera začala v San Franciscu každoroční konference Oracle OpenWorld. Všechny keynotes jsou dostupné zde, kompletní agendu konference najdete zde a jednotlivé DW/BI technologické přednášky níže:

eec.

čtvrtek 8. října 2009

Formátování čísel a NULL hodnot v kontingenční tabulce BI Answers

U BI Answers se v kontingenční tabulce standardně zobrazují prázdné buňky v případě, že není k dispozici hodnota pro kombinaci řádků a sloupců.


Co ale dělat, pokud chcete zobrazit místo prázdných buněk hodnotu nula (0) nebo něco jiného, jako např. N/A nebo "----"? V takovém případě lze využít definování vlastního formátování čísel.


Pro základní formátování čísel je možné využít buďto předdefinované formáty dat, nebo použít vlastní formát.


Syntaxe pro vlastní formát čísla je:

Znak čísla (#) pro zahrnutí důležitých číslic a číslo nula (0) pro zahrnutí určeného počtu číslic i v případě, že číslo tuto podrobnost neobsahuje.

Jestliže zadáte například řetězec #.#, zobrazí se číslo 12,34 jako 12,3. Pokud zadáte řetězec #.000, zobrazí se číslo 12,34 jako 12,340.

Lze také použít složitější formátování pomocí HTML:
Jako první znak musí být uvedený znak at (@). To umožňuje zařízením, která neumožňují zobrazit data v upraveném formátu, zobrazit data v odpovídajícím výchozím formátu. Text [html] znamená použití kódu HTML a znak at (@) představuje dynamický obsah sloupce, viz. obrázek níže.

Středníkem lze oddělit formát kladných čísel (včetně nuly), formát záporných čísel a formát prázdné buňky nebo hodnoty NULL.


Ukázka formátování čísel a NULL hodnot:


Výhodou je, že takovýto formát lze uložit jako výchozí pro daný prezentační objekt.


Petr Podbraný (Oracle)

pondělí 5. října 2009

Oracle Discoverer a Reports ve verzi 11g

S uvolňováním Oracle Fusion Middleware 11g jsou již nyní k dispozici 11g verze pro Oracle Discoverer a Reports Services. Obě komponenty přinášejí řadu novinek, které jsou shrnuty níže. Stáhnout si je můžete přímo z otn.

Zajímá-li vás poslední Statemen of Direction, pak pro Discoverer je dostupný zde a pro Reports Services zde.

Nové vlastnosti verze 11g

Discoverer:
  • Certification with Oracle 11g (version 11.1) Enterprise Edition Database
    General updates were made for Discoverer certification with the Oracle 11g (version 11.1) Enterprise Edition database.

  • Oracle Infrastructure uptake
    General updates were made to reference the latest supported version of the Java Runtime Environment.

  • Single Sign-On integration
    Enhancements to Single Sign-On include a new setting propagateGUIDToVPD, which is described in Section A.2, "List of configuration settings in configuration.xml." Also, general references to the SSO user were replaced with GUID.

  • Enhanced Viewer navigation
    Improvements to page navigation controls in Discoverer Viewer include a new setting pageNavigation, which is described in Section A.2, "List of configuration settings in configuration.xml."

  • Enterprise Manager integration
    General updates were made throughout this guide to reflect improvements in the user interface due to changes to the underlying architecture.

  • Discoverer Web Services
    The ability to interact with the new Discoverer Web Services is provided. For more information, see Section 1.9.1.4, "What is the Discoverer Web Services servlet?"

  • Manageability and diagnosis
    Advanced configuration settings can be updated using the MBean browser in Oracle Fusion Middleware Control, instead of manually editing the configuration files. For more information, see Section 4.12, "How to configure Discoverer using the System MBean Browser."


Reports Services:

eec.