úterý 14. září 2010

Oracle Data Integrator 11g - nové vlastnosti

9. září byla oficiálně uvedena 11g verze Oracle Data Integratoru, která přináší nové vlastnosti v následující oblastech:
  • Produktivita vývoje
  • Administrace systému
  • Škálovatelnost a vysoká dostupnost
Produktivita vývoje
ODI 11g přináší nové IDE (ODI Studio), které je v současné době použité i u ostatních vývojových nástrojů jako je JDeveloper, SQL Developer nebo OWB.

ODI Studio spojuje všechny čtyři dříve oddělené nástroje (Designer, Operator, Security a Topology Manager) do jednoho formou záložek v navigátoru, což umožňuje jednodušší a rychlejší navigaci např. mezi spuštěním přenosu a kontrolou výsledků v logu. Další výhodou nového IDE je možnost mít otevřeno více ODI objektů např. package, interface, datastore atd. mezi kterými lze jednoduše přepínat (opět formou záložek) včetně možnosti uložení všech (nově je k dispozici Save All).


Při návrhu Interface (jak pro mapping tak i pro flow) je nyní k dispozici zoom in / zoom out, změna měřítka, možnost zobrazení datastore jako ikony nebo náhled (thumbnail alias bird’s eye) pro snazší orientaci ve velkých diagramech.


Mezi další zajímavé vlastnosti patří doporučení a automatická oprava chyb v Interfacech,


a nebo úplně nová záložka Quick-Edit, na které je v tabulkové formě vidět kompletní obsah Interface s možností rychlé editace.


Z pohledu vývoje je nově k dispozici možnost vytvářet Lookup pro dohledávání hodnot (vývojář může rozhodnout zda se má implementovat jako left outer join ve from klausuli nebo jako in-memory lookup s nested loopem v select klausuli) a Datasets, které umožňují hromadné operace typu Union, Minus a Intersect.


Potřebuje-li vývojář vidět výsledný vygenerovaný kód, který vychází z vybraných Knowledge Modulů a nastavené business logiky, tak může před spuštěním zaškrtnout checkbox Simulation.


Kód pak není spuštěn oproti datovým zdrojům/cílů, ale je pouze vygenerován a zobrazen na obrazovce.


Již v 10g verzi bylo možné vytvářet Temporary Interface (žlutá ikona), který mohl být použit jako zdroj dat jiného interface. 10g Temporary Interface musel být nejprve spuštěn (např. pomocí workflow), během spuštění založil v databázi fyzickou tabulku a naplnil ji daty.
ODI 11g umožňuje, aby Temporary Interface byl jako sub-select v hlavním interface (checkbox "Use Temporary Interface as Derived Table")


Pro zvýšení výkonu joinů nebo filtrů během zpracování dat lze využít vlastnost Automatic Temporary Indexing, která zajistí automatické indexování. Vývojář vybere typ indexu Bitmap / Non-unique / Unique a použitý Knowledge Modul zajistí jeho vytvoření a poté i zrušení.

Ostatní
  • V Interfacech lze drag&drop přetahovat sloupce ze zdrojových datastore přímo do mappingu cílového datastore

  • Java API umožňující automatické vytváření ODI objektů (vytváření a úpravy topologie; Tvorba projektu, modelů, interfaců, procedur, package; Spuštění, správa a monitorování běhu procesů)

  • Podpora Partitioningu / Subpartitions jednotlivých databází - partitions jsou pomocí reverse procesu načteny z databáze a jsou nyní součástí Datastore v Modelu, v případě návrhu Interface lze nastavit z jakých Partitioningu / Subpartitions číst nebo do jakých zapisovat

  • Nativní databázové sekvence jako ODI objekt

  • Okamžité zastavení běhu procesu - nyní se nemusí čekat až doběhne operace např. v databázi a proces se okamžitě stopne

Administrace systému

ODI Console - dříve dostupné aplikace (Metadata Navigator a Lightweight Designer) jsou nyní nahrazeny jednou webovou aplikací, která v provozním prostředí umožňuje monitorovat přenosy, procházet modely a projekty, nastavovat topologii, spouštět procesy nebo generovat Lineage reporty.


Enterprise Manager - umožňuje spravovat a monitorovat stav jednotlivých ODI komponent včetně Java EE Agentů, Standalone Agentů, Master / Work repository nebo ODI Console. Např. v případě nalezení chyb v logu umožňuje správci drilldown do ODI Console.



Škálovatelnost a vysoká dostupnost
11g verze krom standardního Standalone Agenta přináší tzv. Java EE Agent. Java EE Agent je aplikace, která je provozována ve WebLogic Serveru a tím těží z výhod WebLogicu Serveru pro Clustering, JDBC Connection Pooling a Load Balancing.


Standalone Agent nyní běží jak v módu listener tak i v módu scheduler - je nutné v odiparams.bat|sh nakonfigurovat přístup do ODI repository (skript pro start Scheduler Agenta již neexistuje)

Nově je k dispozici podpora LDAP Serverů, kdy ODI uživatelé mohou být uživatelé LDAP serveru a při přihlašování do ODI se oproti vašemu LDAPu provádí ověřování (je možné zapnout i SSO)


Po několika dnech práce s novým ODI mohu s klidem říci, že nová verze je opravdu cool:) a to jak z pohledu samotného vývoje v novém IDE, tak i díky rozšířené funkcionalitě jako je Lookup, Datasets nebo Sub-select implementace pro Temporary Interface.


Další články:


Erik Eckhardt

Žádné komentáře: