Úvod do Oracle GoldenGate

Řešení pro datové integrace v reálném čase se dají rozdělit do dvou skupin:

1. Řešení pro zajištění vysoké dostupnosti dat
2. Řešení pro zajištění okamžitého přístupu na aktuální data
   

1. Zajištění vysoké dostupnosti dat
Do této skupiny patří řešení, která zajišťují dostupnost dat 24x7:

• Řešení pro ochranu proti neplánovanému výpadku (udržení stále aktuální záložní databáze, která je okamžitě dostupná při výpadku primární databáze)
  
• Řešení pro ochranu proti plánovanému výpadku (zajištění nulového času odstávky systému během migrace, upgrade a údržby databází, aplikací nebo HW)
  
  

2. Zajištění okamžitého přístupu na aktuální data
Do této skupiny patří řešení, která zajišťují aktuálnost dostupných dat:

• Řešení pro Realtime Datové sklady (plnění analytických (ADS) a operativních (ODS) datových skladů v reálném čase aktuálními daty)
  
• Řešení pro „Offloading“ dotazů (přesunutí zátěže Operativního reportingu z primární databáze nad její přesnou a aktuální kopii)
  
• Řešení pro distribuci dat (synchronizace transakcí v reálném čase v distribuovaném prostředí)

Na všechna výše uvedená řešení jsou kladeny společné požadavky pro:

• přenos transakcí v reálném čase
• minimální zatížení zdrojových systémů při extrakci dat
• velmi nízká latence přenosu mezi systémy
• neomezená vzdálenost mezi zdrojem a cílem
• snadná a rychlá obnova přenosu dat po výpadku systému nebo poruchách sítě
• dodržení integrity dat
• podpora heterogenního prostředí
• nezávislost na verzích, edicích, hardware, operačních systémech a dodavatelích zdrojových a cílových systémů

Oracle GoldenGate (dříve GoldenGate – založen v roce 1995 v U.S.)
Oracle GoldenGate je heterogenní Change Data Capture platforma, která v reálném čase zachytává jednotlivé databázové transakce z transakčních a archivních logů různých databázových systémů, transformuje je a s velmi nízkou latencí přenáší.

Oracle GoldenGate je jedno řešení, které lze použít pro různé scénáře nasazení s hlavními požadavky na přenos transakcí v reálném čase s velmi nízkou latencí při neomezené vzdálenosti mezi zdrojem a cílem, minimálním zatížením zdrojových systémů při extrakci dat, dodržení transakční integrity při aplikování na cíl a odolnosti proti výpadku a poruchám systémů nebo sítě.

Oracle GoldenGate – jedno řešení, různé scénáře nasazení

Silnou stránkou Oracle GoldenGate je jeho nezávislost na verzích, edicích a dodavatelích zdrojových / cílových databází, na operačním systému a hardware na kterém jsou provozovány.
Například: Oracle GoldenGate umožňuje v reálném čase přenášet data z Oracle DB verze 9i běžící na 32-bit Windows do Oracle DB 11g běžící na IBM AIX, nebo mezi Oracle DB Standard Edition a Oracle DB Enterprise Edition a nebo v heterogenním prostředí mezi různými systémy jako z IBM DB2 do MS SQL do Oracle do Teradaty a zpět.

Podporované zdrojové a cílové systémy

Procesy Oracle GoldenGate
Oracle GoldenGate se skládá z několika oddělených modulů/procesů, které spolu komunikují a fungují jako ucelené řešení.

Na zdrojovém systému:
Extract (Capture) proces čte data z transakčních a archivních logů databázových systémů. Proces umožňuje data transformovat a filtrovat na úrovni tabulek, sloupců nebo řádků. Z důvodu zajištění bezproblémového přenosu a aplikování transakcí mezi různými platformami (DB, HW, OS, atd.), Extract proces konvertuje data do vlastního formátu a ukládá je do lokální Trail file – soubor obsahuje potvrzené (commit) transakce ve stejném pořadí jako na zdrojovém systému.

Data Pump proces posílá transakce přes TCP/IP protokol do cílového nebo do více cílových systémů, podpora komprese a šifrování dat je samozřejmostí - na vzdálenosti mezi zdrojem a cílem nezáleží.

Manager proces (zdroj) zajišťuje administrativní úkony jako je startování, monitorování a restartování procesů, alokování místa na disku nebo reportování průběhu a chyb.

Na cílovém systému:
Server Collector proces ukládá přenesené transakce do lokálního Trail file.

Replicat (Delivery) proces aplikuje transakce na cílovém systému pomocí nativního SQL volání. Proces umožňuje data transformovat a filtrovat na úrovni tabulek, sloupců nebo řádků.

Manager proces (cíl) zajišťuje administrativní úkony jako je startování, monitorování a restartování procesů, alokování místa na disku nebo reportování průběhu a chyb.


V případě, že Oracle GoldenGate je nakonfigurován pro obousměrnou synchronizaci dat (Active-Active), pak stejné procesy běží na zdrojovém i cílovém systému.

Obousměrná synchronizace dat (Active-Active konfigurace)

Ochrana proti výpadku systému, sítě nebo procesů
Oracle GoldenGate pro případ obnovy přenosu po chybě systému využívá mechanismu Checkpointů. Checkpoints jsou použity pro uchování současné čtecí a zapisovací pozice jednotlivých GoldenGate procesů (Extract, Pump a Replicat) během přenosu transakcí. Checkpoints zajišťují, že transakce označené pro synchronizaci jsou extrahované z transakčních logů a zabraňují opětovné redundantní extrakci. Checkpoints dále poskytují ochranu proti ztrátě dat při chybách způsobených výpadkem systému, sítě nebo jednotlivých procesů.

Checkpoints - jednoduchá a rychlá obnova přenosu dat v případě chyby systému

Produkty Oracle GoldenGate

• Oracle GoldenGate - OGG pro Oracle databáze, obsahuje OGG, Oracle Active Data Guard a Oracle XStream
  
  
• Oracle GoldenGate for Non Oracle Database - OGG pro ne-Oracle prostředí
  
  
• Oracle GoldenGate for Mainframe - OGG pro HP NonStop a IBM DB2 na z/OS
  
  
• Oracle GoldenGate Veridata - řešení pro porovnávání dat mezi zdrojem a cílem
  
  
• Oracle GoldenGate Adapters - adaptéry pro Base24, Logger pro Enscribe, JMS a Flat Files
  
  
• Oracle GoldenGate Director (Management Pack for OGG) - grafická aplikace pro správu, vytváření, konfiguraci a monitorování OGG procesů

Oracle GoldenGate a Oracle Data Integrator
Popis integrace OGG a ODI najdete zde.


Příště instalace a nastavení Oracle GoldenGate.



Erik Eckhardt