Oracle Warehouse Builder 11g Release 2 (11.2.0.1.0) Standalone Software je k dispozici

Týden po uvolnění Oracle Database 11g Release 2 pro MS Windows je k dispozici i samostatná verze OWB 11g Release 2 (11.2.0.1.0). Stáhnout si ji můžete zde.

Oracle Database 11g Release 2 pro MS Windows je již ke stažení

Na OTN je od pátku ke stažení Oracle Database 11gR2 (přesně 11.2.0.1.0) i pro MS Windows, link najdete zde (Standalone verze OWB 11gR2 zatím dostupná není).



eec.

Oracle Data Integrator a Oracle Warehouse Builder

Na OTN jsou k dispozici nové dokumenty popisující roadmapu Oracle Data Integratoru a Oracle Warehouse Builderu, využívání ODI KM v OWB a co vše je nového v OWB11gR2. Linky na dokumenty najdete zde:

• Statement of Direction ODI a OWB
• OWB 11gR2 používání ODI Knowledge Modules
• OWB 11gR2 New Features

eec.

Nové Oracle By Example pro OWB 11gR2

Nedávno do OBE (Oracle By Example) byly přidány nové příklady na Oracle Warehouse Builder verze 11gR2. První dva ukazují některé nové vlastnosti R2 verze (nové uživatelské prostředí, COBOL Copybook, ...), zbylé tři jsou do R2 verze předělány. Máte-li zájem, podívejte se na linky níže:

1. Improved User Interface, Usability, and Productivity With OWB 11g R2
2. Handling Flat File and COBOL Copybook Sources in Mappings
3. Using Data Transformation Operators with Source and Target Operators
4. Working with Pluggable Mappings
5. Examining Source Data Using Data Profiling

eec.

4. Oracle Czech BI/DW Experts Bootcamp

V pátek 20.11.2009 proběhl již 4. Oracle Czech BI/DW Experts Bootcamp, kterého se zúčastnilo 14 vybraných konzultantů a architektů od 12 Oracle partnerů:

• Jaroslav Vlček (Adastra)
• Jan Jůza (CCA)
• Karel Hübl (GEM system)
• Michal Tomek (Neit Consulting)
• Lukáš Hrnčíř (Neit Consulting)
• Václav Bíba (Ness Logos)
• Petr Zeman (OKsystem)
• Jiří Doubravský (Pike Electronic)
• Jakub Genža (CapGemini)
• Jiří Zamouřil (Oracle Consulting)
• Martin Gerneš (Oracle Consulting)
• Michal Zima (Teura)
• Martin Cabák (Reporters)
• Peter Hora (Sementa)

Agenda setkání:

• Zahájení / představení
• Novinky - Co se stalo od posledního 3. Bootcampu
• 1. workshop - Tipy, triky a zkušenosti z BI/DW projektů
  (prezentace níže)
  
• Novinky - Exadata v2
• 1. workshop - Pokračování
  
• Novinky - RTD
• 2. workshop - Co se vyřešit nepodařilo
  
• Novinky - 11g verze (FMW, OWB, ODI, BI) a GoldenGate

Prezentace z 1. workshopu - Tipy, triky a zkušenosti z BI/DW projektů:

Erik Eckhardt (Oracle)

• Zvýšení produktivity vývoje s ODI - Tvorba, úpravy a spouštění více jak +900 datových přenosů

Karel Hubl (GEM System)

• Efektivní datové integrace s ODI
• OBI 10.1.3.4.1 – Problém s filtry pro numerické datové typy
  

Michal Tomek (NEIT Consulting)

• Essbase - trigger pro instalaci HSS
• Posílání reportů z linuxového Publisheru na windowsový fileserver
• 64bitová Essbase pro Linux

Jan Jůza (CCA)

• Tipy, triky a zkušenosti z projektu „Převod analýz z Excelu do Oracle BI”

Jiří Doubravský (PIKE)

• Použití kombinace funkcí Time Series (AGO a TODATE)
  
• Doplnění legendy do reportu přes XML
• Vliv nevhodného pojmenování časového údaje na použití v promptu

Michal Zima (Teura)

• Zkušenosti s implementací OBIEE v clusteru

Jakub Genža (Capgemini Sophias)

• Jak v OBI změnit defaultní menu pomocí currencies.xml (zkusenost z BIAPPS)
• Jak v BIAPPS/ODI resetovat/vymazat jen jeden z modulů, ne celý warehouse (není zdokumentováno)
• Jak odstranit v Answers při filtrování odkaz "Omezené volby", který může vygenerovat dost narocný dotaz

Jaroslav Vlček (Adastra)

• BI Delivers versus autentifikace proti DB
  

Lukáš Hrnčíř (NEIT Consulting)

• Transformace datových a report požadavků do designu metadat a designu reportů

Martin Gerneš (Oracle Consulting)

• Integrace OBI EE, SSO, OAM, OID
• Operátorská konzole pro OWB a ODI

Peter Hora (Semanta)

• Komentáře a diskuze pro Oracle BI

Oracle Warehouse Builder 11gR2

Spolu s druhým releasem Oracle Database 11g byl v září uvolněn i druhý release Oracle Warehouse Builder 11g. Narozdíl od prvního release verze 11, která byla víceméně stejná jako verze OWB10gR2, je v současné verzi řada vylepšení a novinek (detailní seznam viz. níže).

Mezi ty nejdůležitější určitě bude patřit nativní podpora heterogenních zdrojů, Code-Template Mapping, webové služby a generování metadata repository pro Oracle Business Intelligence Enterprise Edition.

Tři výše uvedené jsou v současné chvíli prvním krokem integrace klasického OWB a ODI (v únoru 2009 jsem psal o vzniku nové edice s názvem Oracle Data Integrator Enterprise Edition, která licenčně spojuje Oracle Data Integrator a placenou DB Option OWB Enterprise ETL, která od té doby přestala být samostatně prodejná).

Zajímá-li vás roadmapa pro Oracle Warehouse Builder, pak ji najdete zde, Statement of Direction nejdete zde.

OWB11gR2 si můžete stáhnout z OTN

• buď jako součást Oracle Database
• nebo jako samostatnou instalaci

Bohužel stejně jako Oracle Database 11gR2 je i OWB11gR2 v současné době dostupné pouze na platformě Linux - tzn. chcete-li začít vyvíjet v novém OWB musíte mít jako OS klientské stanice Linux a nebo spustit OWB na některém z vašich Linux serverů a např. přes VNC nebo jiný remote desktop se k němu přihlásit.

Seznam nových vlastností OWB11gR2, seskupeno podle kategorií:
Upozornění: Z pohledu licencování mohou být některé nové vlastnosti použity pouze v případě, že vlastníte licenci Oracle Data Integrator Enterprise Edition. Seznam licencovaných vlastností najdete zde.

Native Support for Heterogeneous Databases

OWB now provides extensive built-in support for non-Oracle databases. JDBC connectivity is added alongside previous support for ODBC and database gateways, and OWB now supports in-database ELT operations on non-Oracle databases. Other enhancements improve access to data from non-Oracle sources such as mainframe and flat file data.

Features in this area include:

• Code Template Mappings and JDBC Connectivity Support

• Enhanced Support for Flat File Imports

• Extensible Platform Framework

• Java-Based (J2EE) Control Center Agent

• Metadata Import from COBOL Copybooks

SOA Integration Enhancements for ETL and Data Quality

The ETL and data quality functionality in OWB can now be integrated into SOA-style architectures.

Features in this area include:

• Web Service and SOA Integration Support for ETL and Data Quality

• Java-Based (J2EE) Control Center Agent

Data Warehousing and Business Intelligence Enhancements

The data warehousing-specific support in OWB has improved. These improvements provide smarter dimensional object operators for ETL and support for more storage types for dimensional objects.

Features in this area include:

• Oracle Business Intelligence Enterprise Edition Integration

• Automated Orphan Management Policy for Loading Dimensional Objects

• OLAP Cube-Organized Materialized Views Support

Developer Usability Enhancements

The Design Center user interface in OWB has been extensively redesigned to improve developer productivity and make advanced features more accessible.

Features in this area include:

• Advanced Find Support in Mapping Editor

• Copy and Paste of Operators and Attributes in Mapping Editor

• Current Configuration Drop-down Box in Design Center Toolbar

• Experts Available in Editor Menus

• Expression Editing in Operator Edit Dialog

• Improved User Interface for Managing Locations (for Sources and Targets)

• Grouping and Spotlighting of Objects in Mapping Editor

• Improved Metadata Search and Find for Dependency Management

• New JDeveloper-Style User Interface

• Operator Comments Included in Generated PL/SQL Code

• Organizing Objects with User Folders

• Quick Mapper in Mapping Connection Dialog Box

Administrator Usability Enhancements

OWB administration tasks are simplified and improved by a number of features in this release. Administration has been extended to support new feature areas such as heterogeneous database support and Web services integration.

Features in this area include:

• Multiple Configuration Management Usability Improvements

• Web Service and SOA Integration Support for ETL and Data Quality

• Improved Management of Locations Registered in Multiple Control Centers

• Heterogeneous Audit and Reporting

• Repository Browser Changes

• Simplified Oracle Warehouse Builder Repository Upgrades

ETL Mapping Enhancements

ETL mappings have been enhanced to add new transformation capabilities and to improve the productivity of developers working with flat files and designing and debugging ETL mappings.

Features in this area include:

• Operator Comments Included in Generated PL/SQL Code

• Key Lookup Operator Enhancements

• Mapping Debugger Enhancements

• Enhanced Table Function Support

• Improved Code Generation for Extraction of Peoplesoft Application Data

• Support for Subqueries in Join Operator

• Web Service and SOA Integration Support for ETL and Data Quality

Process Flow Enhancements

OWB process flows have been enhanced to integrate with new activity types, out of the box, and to support integration of OWB ETL and data quality with SOA solutions.

Features that enhance process flows include:

• Support for EJB/Java Activity Type in Process Flows

• Support for OMB*Plus Activity Type In Process Flows

• Web Service and SOA Integration Support for ETL and Data Quality

Kompletní seznam nových vlastností OWB11gR2 je dostupný zde, dokumentaci najdete zde.



Erik Eckhardt.

ODI Statement of Direction, ODI Enterprise Edition a verze 10.1.3.5

28. ledna 2009 byl zveřejněn Statement of Direction pro Oracle Data Integrator. Spolu s ním i nová edice ODI s názvem Oracle Data Integrator Enterprise Edition (ODI EE). ODI EE zahrnuje samotné ODI a Enterprise ETL Option pro Oracle Warehouse Builder (dříve placená OWB Option k Oracle databázi).

O měsíc dříve byl uvolněn ODI ve verzi 10.1.3.5. Mezi nové vlastnosti této verze především patří:

• Podpora nových zemí (Russia, Norway, Greece, Poland, Czech Republic, Finland, Luxembourg) pro Data Quality a Data Profiling
• Nástroj pro porovnávání verzí
• Propora SFTP a SCP v rámci workflow
• Nové Knowledge moduly pro Oracle OLAP, Oracle Siebel CRM, Oracle E-Business Suite, Oracle PeopleSoft, JD Edwards EnterpriseOne, Oracle AS Legacy Adapters/Attunity Stream, Hyperion Essbase, Hyperion Financial Management, Hyperion Planning
• Nové ERP Adaptéry pro PeopleSoft (8.x+), Siebel CRM (7.7+), E-Business Suite (11i10+), JD Edwards EnterpriseONE (8.x+)
• Nové CDC Adaptéry pro IBM DB2/390, Microsoft SQL Server 2000, Microsoft SQL Server 2005, IMS/DB, VSAM Batch, VSAM CICS, Adabas
• Podpora Oracle BI Applications 7.9.5.2 pro E-Business Suite 11.5.10
  

Kompletní seznam nových vlastností najdete zde. ODI 10.1.3.5 si můžete stáhnout zde.



Erik Eckhardt

Roadmapa pro Oracle Warehouse Builder

Začátkem července byla uvolněna roadmapa pro Oracle Warehouse Builder. Dokument je dostupný zde.

Oracle Warehouse Builder 11g pro Windows

Standalone verze Oracle Warehouse Builder 11g Release 1 je již dostupná i pro platformu MS Windows, stáhnout si jej můžete zde.

Oracle Warehouse Builder 11g

Oracle Warehouse Builder, ETL nástroj s E-LT architekturou (samotné nahrávání a transformaci dat provádí Oracle databáze) patří od druhého kvartálu 2007 mezi lídry v Enterprise ETL.

Zdroj: Forrester Research, Inc.

Více informací viz., Forrester Wave:

• Enterprise ETL, Q2 2007: Oracle Is A Leader In Enterprise ETL With A Free, Bundled Solution For Its DBMS
• Enterprise ETL, Q2 2007

Licence na Oracle Warehouse Builderu (OWB) je od verze 10gR2 součástí každé edice Oracle databáze (tedy Standard Edition One, Standard Edition a Enterprise Edition), tzn. Oracle Warehouse Builder je zdarma (dříve byl součástí balíku Oracle Developer Suite v ceně $5.000,-).

Oracle Warehouse Builder a jeho funkcionalita

Navíc pro Enterprise edici databáze jsou k dispozici tři placené "Options", které dále rozšiřují "Core" funkcionalitu OWB, a to Enterprise ETL Option (využívání Enterprise funkcionality databáze), Data Quality Option (zajištění datové kvality) a ERP/CRM Connectors (konektory do ERP a CRM aplikací).

Oracle Warehouse Builder a "Options"

Tento týden byla uvolněna nová verze Oracle Warehouse Builder 11g Release 1, zatím je dostupná pouze pro Linux. A co přináší nového? Mezi její nejdůležitější vlastnosti určitě bude patřit:

• The major change is the inclusion of Warehouse Builder in the default 11g database installation. Every Oracle Database customer will get Oracle's market-leading ETL capabilities right out of the box, with no extra effort.
  
• Availability of Siebel Connector, 11g Gateway support, and 11g Database support
• Simplified installation (incorporating installation of Oracle Workflow) and repository/workspace management
• Improved performance tuning (explain plan support, statistics gathering and SQL tuning advisor)
• Enhanced SQL Generation (advanced aggregation support, DML error logging in mappings)
• Better dimensional support (hierarchy versioning, more advanced binding options)
• Better support for federation (graphical creation of views including materialized views, full impact analysis and lineage, read/write support for more sources through new gateways)

Více informací o OWB najdete zde. Samotný Oracle Warehouse Builder 11g si můžete stáhnout zde. Oracle Warehouse Builder 11g jako součást Oracle Database 11g si můžete stáhnout zde.

Erik Eckhardt

Rozdieľ medzi ETL a ELT

Skratka ETL (extract, transfer, load) sa stala takmer synonymom pre dátový sklad. Vývoj ETL mappingov zaberie najviac času a energie pri implementácií dátového skladu.

Z pohľadu každodennej prevádzky je to "najužšie " miesto - pokiaľ sa vyskytne niekde chyba tak na 99% je to niekde v ETL procese. Časom rastú objemy dát, ktoré je potrebné počas rovnakého časového okna spracovať a vyvstáva otázka ako ladiť a zvyšovať priepustnosť týchto procesov. Klasický prístup reprezentujú riešenia s dedikovanými ETL serverami. Takýto mlynček na dáta funguje ako čierna skrinka, ktorá sa vloží medzi zdrojové systémy a dátový sklad.

Znie to logicky, ale v praxi to vyzerá ináč. ETL engine sa nemôže priamo pripájať na zdrojové systémy alebo ak áno, tak len na minimálny čas, aby urobil 1:1 kópiu zdrojových dát do dočasných tabúľ v dátovom sklade, ktoré mu následne slúžia ako zdroj pre ďalšie výpočty. To znamená, že všetky dáta sa prechádzajú 4krát hore dole medzi serverami (zdroj - ETL - stage, stage - ETL - cieľ). Pokiaľ narazíte na výkonnostné problémy, tak väčšinou nemáte možnosť ovplyvniť ako sú transformácie vykonávané.



Alternatívny postup je vykonávať transformácie priamo v databázy namiesto seperátneho servera. "Priniesť algoritmy k dátam a nie dáta k algoritmom".

Toto riešenie má viacero výhod:
# ETL server musí dimenzovaný na maximálne zaťaženie počas nahrávacieho okna. Zvyšok času je hardware nevyužitý. Naproti tomu je databázový stroj po nahraní dát využívaný na zodpovedanie dotazov.

# Eliminujú sa prenosy veľkých objemov dát po sieti.

# Databáza sa dá ladiť štandardnými nástrojmi

# Nepotrebujete školiť ľudí na nové technológie

# Infraštruktúra má menej prvkov - zjednodušuje sa správa a TCO

Oracle Warehouse Builder (OWB) je ELT nástroj, ktorý na základe namodelovaných dátových tokov generuje balíky s transormačnou logikou do databázy. OWB vie generovať kód len do Oracle platformy. Nedávno Oracle kúpil dodávateľa ELT platformy - Sunopsis, ktorý vie vygenerovať kód do všetkých hlavných databázových platforiem. Oracle ponuka Sunopsis platformu pod názvom Oracle Data Integrator.

Na prvý pohľad sa môže zdať, že ide iba o prehodenie písmeniek v zaužívanej skratke. Musím sa priznať, že sám naďalej používam ETL a ako to už býva - podstatná zmena je skrytá príliš hlboko v technológií na to, aby si ju verejnosť všimla a nepovažovala ju len za ďalší marketingový ťah.