Registrační link na seminář "Nové verze platforem pro datovou integraci" je již dostupný

Registrační link na seminář Nové verze platforem pro datovou integraci - Oracle Data Integrator 11g a Oracle GoldenGate 11g je k dispozici zde.

V případě zájmu se prosím registrujte co nejdříve, počet míst je omezen! Registrace je bezplatná.

Upgrade ODI repository z verze 10g na 11g

Předchozí články:

• Oracle Data Integrator 11g - nové vlastnosti
• Instalace a nastavení ODI 11g (ODI Studio a Standalone Agent)
• Instalace a nastavení ODI 11g (ODI Java EE komponenty)

Upgrade ODI repository na verzi 11g nelze provádět pomocí ODI Studia, ale musí se použít Oracle Fusion Middleware Upgrade Assistant pro Data Integrator (je součástí ODI adresáře v Oracle Fusion Middleware instalaci).

Podmínkou upgrade na 11g je

• mít repository uložené v podporované databázové platformě a verzi (viz. ODI 11g certification matrix)
  
• všechna Work repository patřící k jednomu Master repository musí být uložena ve stejné databázi (ODI podporuje distribuování repository do různých databází, ale pro upgrade musí být v jedné).

Před spuštěním upgrade procesu je doručené klonovat všechna 10g repository do nového schématu. V případě, že upgrade z nějakého důvodu neproběhne, pak 10g i 11g repository nebudou funkční.

Dále je vhodné spustit Repository Consistency Checker (RCC) Utility, která zkontroluje strukturu a integritu ODI Repository. RCC Utility je k dispozici na support.oracle.com pod ID 1058107.1.

Moje ODI 10g prostředí
Jedno Master repository:

• MASTER, dbuser: odi_rep
  

Čtyři Work repository (DEV, TEST, QA, PROD)

• ORACLEDI_PRODREP01, dbuser: odi_rep_prod
• ORACLEDI_WORKREP01, dbuser: odi_rep
• ORACLEDI_WORKREP02_TST, dbuser: odi_rep_work2
• ORACLEDI_WORKREP03_QA, dbuser: odi_rep_qa

Klonování
Protože databáze ve které mám uloženy 10g repository nepatří mezi podporované, klonuji je do Oracle 11gR2:

Export uživatelů vlastnící ODI 10g Master a Work repository
exp userid=odi_rep/odi_rep file=c:\odi_rep.dmp
exp userid=odi_rep_prod/odi_rep_prod file=c:\odi_rep_prod.dmp
exp userid=odi_rep_work2/odi_rep_work2 file=c:\odi_rep_work2.dmp
exp userid=odi_rep_qa/odi_rep_qa file=c:\odi_rep_qa.dmp

Založení uživatelů pro upgrade na 11g v 11g db
create user odi11_rep identified by odi11_rep
default tablespace users temporary tablespace temp
quota unlimited on users;

create user odi11_rep_prod identified by odi11_rep_prod
default tablespace users temporary tablespace temp
quota unlimited on users;

create user odi11_rep_work2 identified by odi11_rep_work2
default tablespace users temporary tablespace temp
quota unlimited on users;

create user odi11_rep_qa identified by odi11_rep_qa
default tablespace users temporary tablespace temp
quota unlimited on users;

grant connect,resource to odi11_rep, odi11_rep_prod, odi11_rep_work2, odi11_rep_qa;

Import ODI 10g Master a Work repository do nových schématů v 11g db
imp userid='system/manager' touser=odi11_rep fromuser=odi_rep file=c:\odi_rep.dmp
imp userid='system/manager' touser=odi11_rep_prod fromuser=odi_rep_prod file=c:\odi_rep_prod.dmp
imp userid='system/manager' touser=odi11_rep_work2 fromuser=odi_rep_work2 file=c:\odi_rep_work2.dmp
imp userid='system/manager' touser=odi11_rep_qa fromuser=odi_rep_qa file=c:\odi_rep_qa.dmp


Upgrade pomocí Oracle Fusion Middleware Upgrade Assistant
Upgrade Assistant (ua.bat|sh) je součástí ODI adresáře v Oracle Fusion Middleware instalaci, více viz. zde.


V dalším kroku jsou na výběr dvě možnosti:

Upgrade Middle Tier Instance – zajistí zkopírování konfiguračních souborů a startovacích skriptů pro ODI Standalone Agenta, lze udělat později manuálně (viz. níže v části Po instalační kroky).

Upgrade ODI Repositories

• Update Topology and Security Metadata - aktualizuje objekty v Topologii a Security pro podporu nových vlastností 11g verze
  
  
• Replace KMs with Mandatory Updates - aktualizuje pouze 10g Knowledge Moduly, které nebudou fungovat v 11g verzi. Jde o následující KM:
  • LKM File to Oracle (EXTERNAL TABLE)
  • LKM File to Netezza (EXTERNAL TABLE)
  • LKM File to Oracle (SQLLDR)
  • LKM File to SAS
  • LKM File to DB2 UDB (LOAD)
  • LKM SAS to SQL
  • LKM SQL to Teradata (TTU)
  • IKM SQL to Teradata (TTU)
  • LKM File to Teradata (TTU)
  • IKM File to Teradata (TTU)
  • IKM Teradata to File (TTU)
  • LKM File to MSSQL (BCP)
  • LKM File to Sybase IQ (LOAD TABLE)
  
  KM jsou aktualizovány na základě jména, tzn. pokud jste duplikovali a přejmenovali výše uvedené KM, pak jeho úpravu musíte provést manuálně.
  
  V 11g verzi je opraveno ODIRef API pro getTargetTable a getTableList. V ODI 10g verzi jsou v API prohozeny oddělovače polí a řádků (XFILE_SEP_FIELD, XFILE_SEP_ROW, FILE_SEP_FIELD, FILE_SEP_ROW) a 10g KM s tím počítají. V ODI11g verzi je to opraveno a proto KM musí být aktualizovány.
  
  KM, které jsou aktualizovány se zálohují do adresáře ...\Middleware\ODI1111\upgrade\odi\KM10g\...
  
  
• Check that Upgrade Occurs Only on Cloned Repositories - provede kontrolu zda upgrade probíhá nad klonovaným repository
  

Potvrdíme volby


Nastavíme připojení na databázi s klony Master a Work repository, vyplníme vlastníka klonovaného Master repository a aplikačního správce ODI


Installer načte všechna Work repository, vyplníme jména db uživatelů a hesla


Kontrola


Shrnutí


Úspěšné dokončení upgrade repository za cca 5 minut



Po instalační kroky

Standalone Agent
Pokud jste nevybrali Upgrade Middle Tier Instance, pak manuálně překopírujte / upravte skripty pro Standalone Agenta, hlavně odiparams.bat|sh, případně startovací skript.

Poznámka: startovací skript pro Agenta v módu scheduler nekopírujte/nevytvářejte (v 11g již není potřeba). Jen nakonfigurujte v odiparams.bat|sh připojení do Master repository a po startu Agenta se automaticky nastartuje i Scheduler pro jednotlivá repository:


Login pro ODI Studio
Přidejte logovací profil do ODI Studia pro připojení do migrovaných repository. Stačí jej vytvořit pouze na jedné vývojářské stanici a poté rozkopírovat na další. Soubor s loginy je uložen v ?:\Documents and Settings\[uživatel]\Application Data\odi\oracledi\snps_login_work.xml


ODI Open Tools nebo dodatečné JDBC ovladače
Pokud používáte ODI Open Tools nebo dodatečné JDBC ovladače, tak je musíte manuálně nakopírovat do nových adresářů:

• pro ODI Studio do adresáře na Windows ?:\Documents and Settings\[uživatel]\Application Data\odi\oracledi\userlib\, na UNIXu/LINUXu USER_HOME/.odi/oracledi/userlib
  
  
• pro Standalone Agenta do adresáře na Windows ODI_HOME\oracledi\agent\drivers, na UNIXu/LINUXu ODI_HOME/oracledi/agent/drivers/
  

Oracle technologie je standardně nastavena s Non-Ordered Joins
Jak v ODI 10g, tak i po upgrade na ODI 11g je v Topologii u technologie Oracle nastaveno Non-Ordered syntaxe pro join (Oracle databáze od verze 10g podporuje jak klasický zápis joinu, tak i ISO zápis). Pro plné využívání nových vlastností ODI 11g je Ordered syntaxe doporučenou syntaxí pro technologii Oracle.


ODI DEMO prostředí (volitelné)
ODI Demo již není součástí standardní instalace ODI, ale volitelnou v ODI Companion CD, viz. zde.

Jakmile ODI Companion stáhnete, rozpalte oracledi-demo.zip do ...\ODI11g\oracledi\demo a poté v ODI Studiu vytvořte na demo profil:


Demo se spouští pomocí ...\ODI1111\oracledi\demo\bin\startdemo.bat, Getting Started Guide pro ODI 11g najdete zde.


Shrnutí
Upgrade mých čtyř work repository proběhl úspěšně a veškeré projekty (i ty u kterých došlo k upgrade KM) fungují jako v 10g verzi. Nefungují mi pouze nově generované Data Services do AXIS2 a to z důvodu, že místo AXIS2 je v ODI 11g pro WS podporován standard JAX-WS.

PS: v případě úpravy technologií a KM nezapomeňte regenerovat Scénáře.



Erik Eckhardt

Seminář na téma: Nové verze platforem pro datovou integraci - Oracle Data Integrator 11g a Oracle GoldenGate 11g

Rádi bychom vás pozvali na další ze série seminářů Oracle Coffee, na kterém vás tentokrát seznámíme s novými verzemi platforem pro datovou integraci Oracle Data Integrator 11g a Oracle GoldenGate 11g, které byly celosvětově oficiálně představeny dne 9. září 2010.

Oracle Data Integrator (dříve Sunopsis) poskytuje vysoce výkonné přenosy a transformace dat mezi jednotlivými systémy v heterogenním prostředí. Díky svým unikátním vlastnostem, jako je E-LT architektura, deklarativní vývoj, znalostní moduly a hotové konektory pro všechny důležité databáze a aplikace, zajišťuje zvýšení produktivity vývojářů a snížení celkových nákladů na řešení.

Oracle GoldenGate (dříve GoldenGate) umožňuje v reálném čase zachytávat jednotlivé transakce z transakčních a archivních logů různých databázových systémů, transformovat je a s velmi nízkou latencí přenášet do heterogenních cílů. Díky svým unikátním vlastnostem, jako je heterogenní real-time Change Data Capture, minimální zatěžování zdrojových systémů při extrakci, přenos s velmi nízkou latencí při neomezené vzdálenosti mezi zdrojem a cílem, dodržování transakční integrity při aplikování na cíl a odolnost proti výpadku a poruchám systémů nebo sítě, je vhodný jako klíčové řešení pro ochranu primárních databází proti plánovaným i neplánovaným výpadkům a nebo pro replikace a distribuce databázových transakcí do okolních systémů.

Oracle Data Integrator a Oracle GoldenGate mohou fungovat samostatně a nebo spolu dohromady vytvářejí unikátní řešení pro realtime analytické a operativní datové sklady.

Přijďte na seminář a seznamte se s novými vlastnostmi Oracle Data Integratoru 11g, jako je

• ODI Studio pro vyšší komfort vývoje datových přenosů,
• ODI Console a Enterprise Manager pro jednodušší monitorování systému,
• ODI Java EE Agent pro vysokou dostupnost a škálovatelnost,
• a další

a funkcionalitou Oracle GoldenGate.

Registrace bude otevřena již brzy, prosím, rezervujte si místo ve svém kalendáři, počet míst je omezen!

budova Oracle Czech
Škrétova 12
Praha 2
pátek 8. října 2010
9:00 - 11:00 (8:30 registrace a snídaně)

Instalace a nastavení ODI 11g (ODI Java EE komponenty)

Předchozí články:

• Oracle Data Integrator 11g - nové vlastnosti
• Instalace a nastavení ODI 11g (ODI Studio a Standalone Agent)

11g verze ODI krom standardního Standalone Agenta přináší tzv. Java EE Agenta - J2EE aplikace, která je provozována ve WebLogic Serveru a tím těží z jeho výhod pro Clustering, JDBC Connection Pooling a Load Balancing.
Vedle Java EE Agenta je k dispozici ještě nová ODI Console (nahrazuje Metadata Navigator a Lightweight Designer), ODI Plug-in pro Enterprise Manager a ODI Public Web Services pro orchestraci datových přenosů.

Instalace ODI Java EE komponent (doba běhu cca 10minut)

Poznámka: ODI Java EE komponety vyžadují předinstalovaný WebLogic Server, pokud jej nemáte pak si jej můžete stáhnout z OTN a provést standardní instalaci.

Spusťte setup.exe nebo runInstaller, zvolte Java EE installation a vyberte si potřebné komponenty:


Vyberte adresář ve kterém se nachází Middleware Home (vznikl při instalaci WebLogic Serveru) a pojmenujte ODI Home pro Java EE komponety (stejně se bude jmenovat adresář na disku).



Nastavení ODI Java EE komponent

Po úspěšném doběhnutí instalace ODI Java EE komponent je potřeba pro ODI vytvořit WebLogic doménu a nakonfigurovat Managed Server.

Spusťte ...\Middleware\ODI1111\common\bin\config.cmd a vyberte "Create a new WebLogic domain"


Vyberte ODI Java EE komponenty, které chcete nainstalovat do domény (Oracle EM a Oracle JRF zaškrtne installer sám)


Pojmenujte doménu pro ODI a vyberte kde ma být založena


Určete správce a heslo pro ODI doménu


Zvolte požadovaný mód (pro účel vyzkoušení zvolte Development a dostupné SDK)


Nakonfigurujte JDBC připojení k ODI Master a Work repository


Zde nevybírejte nic


Po doběhnutí instalace můžete nastartovat WebLogic Admin ve kterém běží:

• WebLogic Console (u mne http://localhost:7001/console)
• Enterprise Manager (u mne http://localhost:7001/em)

Konfigurace ODI Java EE Agenta

V topologii založte nového ODI Agenta, který bude sloužit jako ODI Java EE Agent. Agenta založte standardním způsobem - zadefinujte Fyzickou a Logickou architekturu + kontext.

• Port agenta se musí rovnat portu na kterém běží WebLogic Managed Server - zjistíte jej z WebLogic Console (http://localhost:7001/console) > Environment > Servers.
  
  
• Web Application Context je aplikační jméno agenta pod kterým bude dostupný, default je http://host:port/oraclediagent (pro Java EE Agenta jméno můžete změnit, pro Standalone Agenta musí být oraclediagent)
  

Přepněte se na záložku Data Sources a Drag&Drop sem přetahejte všechny zdroje/cíle ke kterým má ODI Java EE Agent přistupovat. Nastavte JNDI Name a odškrtněte JNDI Standard. Během deployment fáze budou všechny zdroje/cíle založeny ve WebLogic Admin Serveru (Data Sources lze deployovat i odděleně, vyberte Data Source > pravá myš > a vyberte "Deploy Datasource on WLS!). Poté uložte a z menu Agenta vyberte "Generate WLS Template"


Spustí se WLS Template Generation Wizard, zde můžete nastavit parametry obnovy pro připojení do repository a klíč, který je použit pro nastavení Credential Store, viz níže.


Seznam driverů, které Agent potřebuje pro komunikaci se zdrojem/cílem


Seznam Datasources, které se mají deployovat spolu s Agentem (není potřeba vybírat MasterRepository - to je spolu s Work součástí instalace, viz. několik kroků výše)


Shrnutí pro Java EE Agenta (zde je vidět URL na kterém běží), je potřeba vybrat adresář kam bude WLS template vygenerován.



Deployment ODI Java EE Agenta jako WLS Template

Opět spusťte ...\Middleware\ODI1111\common\bin\config.cmd, ale nyní zvolte rozšíření stávající domény


Na disku vyberte ODI doménu


Vyberte WLS Template pro ODI Java EE Agent (při stisku na next můžete obdržet hlášku, že komponenta již v doméně existuje - zvolte Replace)


Doplňte hesla na JDBC připojení, při stisku na next dojde k otestování


Doplňte hesla na připojení k ODI repository, při stisku na next dojde k otestování


Zde nemusíte nic vybírat


Shrnutí, stiskněte Extend.


Po úspěšném deploymentu klikněte na Done.



Credential Store Entries pro ODI Java EE Agenta a OEM

Spusťte command line ...\Middleware\ODI1111\common\bin\wlst.cmd

vložte:

connect('weblogic','jeho_heslo','t3://localhost:7001') --jméno a heslo na admina WebLogicu a URL na Admin Server

createCred(map="oracle.odi.credmap", key="SUPERVISOR", user="SUPERVISOR", password="jeho_heslo", desc="Key for Supervisor") --klíč pro OEM a Java EE Agenta k ODI repository

createCred(map="oracle.odi.credmap", key="odi11_domain", user="weblogic", password="jeho_heslo", desc="Username and password for odi11_domain") --klíč pro OEM k ODI doméně

createCred(map="oracle.odi.credmap", key="ODIAgentJEE", user="weblogic", password="jeho_heslo", desc="Username and password for ODIAgentJEE") --klíč k ODI Java EE Agentovi

disconnect()


Restartujte Admin Server pomocí skriptu ...\Middleware\user_projects\domains\odi11_domain\startWebLogic.cmd

Do skriptu pro start Managed Serveru ...\Middleware\user_projects\domains\odi11_domain\bin\startManagedWebLogic.cmd přidejte:

set JAVA_OPTIONS="-Doracle.odi.repex.view.main.init.skipem=false" %JAVA_OPTIONS%

a nastartujte jej.


Výsledek

Na adrese http://localhost:7001/console běží WebLogic Console kde můžete vidět založené datové zdroje /cíle pro ODI


Na adrese http://localhost:7001/em běží Enterprise Manager jehož součástí je plugin pro ODI, zde můžete monitorovat všechny aplikace a ODI komponenty včetně repository a ODI agentů (Java EE i Standalone)


V případě výběru Master repository lze monitorovat Work repository a jednotlivé agenty včetně událostí a chyb s možností


drilldown do ODI Console (ODI Console běží na http://localhost:8001/odiconsole)

• ODI Java EE Agent běží na http://localhost:8001/oraclediagent
• ODI Public Web Services běží na http://localhost:8001/oracledisdkws/

Příště Upgrade ODI repository z verze 10g na 11g


Erik Eckhardt

Instalace a nastavení ODI 11g (ODI Studio a Standalone Agent)

Oracle Data Integrator 11g je možné stáhnout buď z OTN nebo z eDelivery.

K dispozici jsou tři typy instalačních médií:

• ODI pro Linux, Windows nebo All platforms (umožňuje instalovat ODI Studio, ODI SDK, ODI Standalone Agent, ODI Java EE Agent, ODI Console, ODI Plugin pro OEM a ODI Public Web Services)
  
  
• ODI Companion pro All platforms (obsahuje ODI Standalone Agent, Getting Started Demo, ODI SDK, ODI Studio, definice technologií a KM)
  
  
• ODI Data Profiling a Data Quality pro různé platformy

Pokud nepotřebujete ODI Java EE komponety (ODI Java EE Agent, ODI Console a ODI Public Web Services), pak nemusíte ODI 11g instalovat. Stačí stáhnout ODI Companion a z něj rozbalit a manuálně nakonfigurovat Standalone Agenta (adr. agent_standalone) a ODI Studio (adr. studio) s XML referencemi (adr. xml-reference).

V případě, že se rozhodnete pro instalaci ODI pomocí installeru, pak jednotlivé screenshoty s parametry najdete níže.

Instalace ODI Studio + Standalone Agent (doba běhu cca 15minut)
Poznámka: níže jsou uvedeny pouze nastavovací obrazovky installeru

Spusťte setup.exe nebo runInstaller

Vyberte typ instalace:

• Pro vývojáře který bude vyvíjet v ODI - zvolte Developer Intallation a vyberte si potřebné komponenty (v případě, že potřebujete mít na vývojovém PC i ODI Agenta, pak ještě zaškrtněte Standalone Installation)
  
  
• Server na kterém poběží ODI Agent - zvolte Standalone Installation
  
  
• Server na kterém poběží Java EE komponenty – zvolte Java EE Installation a vyberte si potřebné komponenty (instalace vyžaduje Oracle WebLogic Server - více o této instalaci a nastavení najdete zde)

Zadejte adresář pro ODI 11g. Výsledná adresářová struktura je o něco složitější než v 10g, ale to podstatné jako je ODI Studio, Agent a KM je umístěno v adresáři oracledi.


Většina FMW 11g komponent (např. viz. BI11g) vyžaduje založení Oracle Fusion Middleware Repository v databázi. To se provádí pomocí Repository Creation Utility (RCU).
ODI nepoužívá Fusion Middleware Repository (stále má své Master a Works), ale RCU umožňuje pro ODI Master a jedno Work repository vytvořit. Výhoda založení přes RCU je v tom, že ODI installer Vám pak automaticky nakonfiguruje připojení do repository pro ODI Studio a nakonfiguruje Standalone Agenta (odiparams + startup skript) včetně jeho definice do Topologie. Nevýhoda je v tom, že RCU vytváří Master a Work repository do stejného schématu (best practice je mít oddělená schémata).
Zvolíte-li jako já „Skip Repository Configuration“, tak po doběhnutí instalace ODI můžete Master a Work repository založit z ODI Studia.


Pokud jste zvolili Standalone Installation, můžete specifikovat jméno a port na kterém poběží ODI Agent. Installer automaticky vytvoří v adresáři ...\oracledi\agent\bin startup skript a do nabídky ve Windows přidá pro něj ikonu.


Po instalaci zkontrolujte, že vše proběhlo v pořádku:


A ve Windows vznikne nabídka pro ODI Studio a Vašeho agenta:



Založení Master a Work repository
Pokud ještě nemáte, založte v databázi uživatele pro Master a Work repository, např.:

create user odi11_mrep identified by odi11_mrep
default tablespace users temporary tablespace temp
quota unlimited on users;

create user odi11_wrep identified by odi11_wrep
default tablespace users temporary tablespace temp
quota unlimited on users;

grant connect, resource to odi11_mrep, odi11_wrep;

Spusťte ODI Studio (při prvním startu vyplňte cestu na JDK 1.6)

Z menu File > New > vyberte Master Repository Creation Wizard


Vyplňte standardní parametry pro Master repository


Vyberte typ ověřování (ODI repository nebo LDAP) a heslo pro uživatele SUPERVISOR


Vyberte úložiště hesel


Výsledkem je založené Master repository
Po založení klikněte na Connect To Repository a nakonfigurujte jej


Po připojení k Master repository přejděte na záložku Topology, sekce Repositories a založte nové Work repository


Vyberte jeho typ a číslo


Po jeho úspěšném založení můžete nakonfigurovat nový login nebo upravit ten, který jste vytvořili po založení Master repository:


Poté z menu ODI zvolte „Disconnect from Master Repository“ a opětovně klikněte na „Connect To Repository“ kde se již můžete připojit jak do Master tak i do jeho Work Repository:



Nastavení Standalone Agenta
Pokud jste instalovali i Standalone Agenta, tak otevřete a upravte soubor ...\oracledi\agent\bin\odiparams.bat|sh

Nastavte svoje hodnoty proměnných (hesla zakódujete pomocí ...\oracledi\agent\bin\encode):

set ODI_MASTER_URL=jdbc:oracle:thin:@localhost:1521:BIDW11
set ODI_MASTER_USER=odi11_mrep
set ODI_MASTER_ENCODED_PASS=e3yHRkGgKM8ycaB2EwPQxq8l

set ODI_SUPERVISOR=SUPERVISOR
set ODI_SUPERVISOR_ENCODED_PASS=d,yX78UC6FTDKiIA2NsIn2iot

set ODI_SECU_WORK_REP=WORKREP11

Poté nastartujte ODI Agenta (buď vytvořeným skriptem nebo z menu Windows) a zadefinujte v topologii jeho fyzickou a logickou architekturu + kontext.


Nyní již dodefinujte připojení na Vaše zdroje / cíle a na záložce Designer můžete začít vývoj.

Příště

• Instalace a nastavení pro JAVA EE komponenty
• Upgrade ODI repository z verze 10g na 11g

Erik Eckhardt