Czech BI/DW Blog: ledna 2011

pondělí 31. ledna 2011

Migrace historických dat z DBF souborů do Oracle DB

Fakta:

Zákazník provozoval starý HR systém v podobě DOS aplikace (FoxPro a DBF soubory)
Nyní migruje na nový systém s MS SQL
Pro jednorázový load historických dat do DWH máme k dispozici sady dbf souborů obsahující zazálohované DBF files po každé měsíční uzávěrce
Pro nahrání dat do L0 vrstvy (Oracle DB) použijeme ODI 11g
Pro přístup k DBF souborům využívám JDBC driver - bohužel jsem zatím nenašel žádný opensource, takže zatím trial, který se dá stáhnout z http://www.hxtt.com/dbf.zip (alternativou postupu může být např. konverze dbf souborů do xml souborů, na to prý existují také utility, ale protože máme souborů mraky, tak jsem chtěl co nejvíc ušetřit práci)
Prováděno na Win7 (ODI + standalone agent)

Příprava ODI
JAR obsahující JDBC driver pro DBF (v mém případě DBF_JDBC30.jar) je potřeba nahrát pro ODI Standalone Agenta do [agent_home]/drivers/, pro ODI Studio do C:\Documents and Settings\[uživatel]\Application Data\odi\oracledi\userlib\ (na Windows 7 do C:\Users\\AppData\Roaming\odi\oracledi\userlib).

Příprava DBF Serveru
JDBC umí fungovat i jako remote server, pro moji potřebu mi však stačilo následující:

Na fyzicky stejném serveru, kde běží ODI Studio a Standalone Agent (jinak umístit stejně na obě místa, kvůli selektivnímu reverzu metadat) vytvořit adresář v rootu s názvem DBF_SERVER
Vytvořit podadresář DATA, do kterého jsou nahrány pokusná data (adresářová struktura je v sql pak adresovatelná pomocí /)
Překopírovat testovací dbf soubory (*.dbf)

Definice Fyzické architektury v ODI

Spustit ODI Topology Manager
Technologie DBase > nový Data Server
Name: např. HR_MZDY_dbf
JDBC driver: com.hxtt.sql.dbf.DBFDriver
JDBC URL: jdbc:DBF:/D:/DBF_SERVER/DATA (cesta do adresáře, kde jsou dbf soubory)
Vytvořit defaultní fyzické schéma > New Physical Schema a jen uložit
POZOR Nutné provést reverse datových typů na uzlu DBase pravé tlačítko a volba datatypes reverse engineering, jinak Vám to nebude správně reversovat datové typy (více viz. krok 9)
Stejně nutné je nastavit konverzí převody datových typů (např. VARCHAR v DBase, jak se bude konvertovat do Vaší cílové DB), více viz. krok 10 a 11

Pozn.: Zatím jsem neřešil potřebu překódování codepage, podle manuálu tohoto konkrétního JDBC ovladače lze provést pomocí Property s názvem charSet a zadání kódové stránky ala Java

Definice Logické architektury v ODI

Technologie Dbase > nové Logické Schema, např. název HR_OLD_DATA, v kontextu nastavit namapování na fyzické schéma HR_MZDY_dbf_Default

Reverse metadat dbf souborů v ODI Designeru

Založte nový Model:
a. Name: např. HR_OLD_DATA
b. Technologie: Dbase
c. Logické schéma: HR_OLD_DATA
Reverse Engineer – standard
Selective Reverse-Engineering
V modelu se zobrazí reversované tabulky a sloupce
Pak už je můžete přetahat do L0 (pozor: má data neobsahovala PK constraint, tj. pro využití integrační strategie "Incremental Update" je potřeba přidat PK do cílových tabulek a nebo v Interface nastavit "Update key" ručně).
V Interface použijte LKM SQL To Oracle a už to jede…

Pokud by jste někdo našli free JDBC driver, který bude s ODI fungovat, dejte do komentáře k článku, bude se nám hodit.

Petr Šimbera (BI/DW Architekt - Freelancer)

čtvrtek 27. ledna 2011

Oracle Open Office Connector pro Oracle Business Intelligence

Pokud používáte Open Office 3.3 a Oracle BI 10.x, pak si z edelivery.oracle.com (Oracle Office > Enterprise Edition Media Pack > Enterprise Tools ) můžete stáhnout a nainstalovat Oracle Open Office Connector pro Oracle Business Intelligence (EE / SE1).

Oracle Open Office Connector pro Oracle BI má obdobnou funkcionalitu jako BI Addin pro MS Office a je dostupný pro následující aplikace: Open Office Writer, Calc, Impress a Draw.

Popis instalace najdete v kapitole Oracle Business Intelligence Integration, více viz. video:

Erik Eckhardt

pondělí 24. ledna 2011

Pozor! Změna IP adresy BI Demo Serveru, nyní je na http://193.179.157.75

POZOR! BI Demo Server byl přesunut na novou IP adresu http://193.179.157.75

Součástí přesunu je i nový BI Dashboard "Edukace" a nová cílová oblast "Edukace pacientů" - obsahují fiktivní informace o vzdělávání/edukaci pacientů a jejich hodnocení (česká metadata).

Erik Eckhardt

čtvrtek 20. ledna 2011

Jak nastavit BI Publisher pro Kerberos autentizaci

Článek se věnuje situaci, kdy BI Publisher (verze 10.1.3.4.1) je provozován na aplikačním serveru WebLogic (konkrétně 10.3) a současně je na úrovni aplikačního serveru WebLogic nastaveno ověřování uživatele pomocí principů Kerberos (jak zprovoznit BIP v aplikačním serveru WebLogic je uvedeno zde).

Z pohledu aplikace (například BIP) je nutné zajistit dvě základní operace spojené s vyhodnocením práv uživatele. Jedná se o operace:

Autentizace – ověření identity přihlášeného uživatele
Autorizace – ověření oprávnění k provedení operace (číst, smazat, provést, …)

V tomto příspěvku se věnujeme problematice automatizace autentizace - běžně označované jako SSO (Single Sign On) – za využití principů Kerberos. Pro tento způsob SSO je nutné, aby uživatel byl přihlášen do MS domény, tj. přihlásil se k pracovní stanici doménovým účtem. Na základě tohoto úspěšného přihlášení bude dostávat tzv. Kerberos tickets, které slouží pro následnou autentizaci uživatele (bez nutnosti přihlašování se).

Pro kompletní zprovoznění SSO (Kerberos) pro BIP je potřeba provést nastavení v následujících oblastech:

Nastavit aplikační server WebLogic pro ověřování na principech Kerberos
Nakonfigurovat SSO nastavení v BIP
Napojit BIP na Active Directory (AD) - LDAP server
Upravit deployment soubory BIP pro využití WL / Kerberos podpory

1. WebLogic a Kerberos
Nastavení WebLogic pro práci se systémem Kerberos není podrobně popisováno v tomto článku. Postup je podrobně popsán v dokumentaci WebLogicu.

2. Nastavení SSO pro BI Publisher
BI Publisher disponuje několika způsoby realizace SSO. Administrátor může volit mezi následujícími způsoby:

Oracle Single Sign On
Oracle Access Manager
CA SiteMinder
Other SSO Server

2.1 Nastavení pro SSO – Kerberos
Pro využití principů Kerberos volíme variantu „Other SSO Server“, kde se objeví další volba – způsob získání uživatelského jména:

HTTP Header
HTTP Parameter
HTTP Cookie
Server Variable

V případě Kerberos autentizace dochází k nastavení proměnných v prostředí. Java aplikace může uživatelské jméno získat například voláním metody: request.getRemoteUser()

Tento způsob je například využit i v případě BIP, proto je nutné volit variantu „Server Variable“ a položky „User Name Parameter“ vyplnit libovolným neprázdným textem

3. Napojení BI Publisheru na Active Directory (AD) - LDAP server
BI Publisher pro kontrolu přístupů uživatele (autorizace) dovoluje využít více variant uložení autorizačních dat.

Varianta LDAP vyhovuje kombinaci s Kerberos autentizací. Jak LDAP, tak i Kerberos jsou technologie poskytované MS Active Directory (AD). Popis jak napojit BIP na MS AD je uveden zde. Významu LDAP skupin je k dispozici v BIP dokumentaci. Na obrázku níže je vidět ukázkové nastavení parametrů LDAP varianty kontroly přístupů v BI Publisher.

4. Úprava deployment konfigurací BIP
Pro využití Kerberos podpory na úrovni aplikačního serveru WebLogic je nutné modifikovat deployment konfigurační soubory BI Publisher. Jedná se o soubory web.xml a weblogic.xml umístěné v adresáři WEB-INF.

4.1. Změna web.xml
BI Publisher po standardní instalaci není nastaven pro spolupráci s aplikačním serverem WebLogic a vyžadování Kerberos autentizace. Úpravou souboru web.xml je možné tohoto docílit.
Následující XML fragment je nutné vložit do souboru {$BIP_WEB_HOME}/WEB-INF/web.xml, například před závěrečný tag /web-app.

4.2. Soubor weblogic.xml
Po standardní instalaci BI Publisher není v adresáři {$BIP_WEB_HOME}/WEB-INF obsažen soubor weblogic.xml, proto je nutné jej vytvořit a vložit do něho následující XML kód.

Otestování
Závěrem ověříme funkčnost celé konfigurace. Nejprve je nutné, aby se projevily změny v administraci BI Publisher. Proto restartujte Java aplikaci BI Publisher, například v prostředí WL Console.

Kroky k ověření:
a) Zvolený uživatel (např. Administrator) se příhlásí do MS domény
b) Ověříme, že uživatel je v AD skupině – XMLP_ADMIN
c) Pro zajímavost může ověřit stav Kerberos tickets. Spustíme příkaz C:\Program Files\Windows Resource Kits\Tools\kerbtray.exe

d) Spustíme prohlížeč IE a zadáme URL adresu. Pozor: URL je modifikované nastavením provedeným v souboru weblogic.xml. Dle uvedené konfigurace by URL mělo tvar: http://server:port/spnego2/login.jsp.

e) Úspěšné přihlášení
f) Pro zajímavost může ověřit stav Kerberos tickets. Spustíme příkaz C:\Program Files\Windows Resource Kits\Tools\kerbtray.exe, kde je vidět nově přidělený Kerberos Ticket pro službu/server app09h.

Jiří Holubec (SW Architekt společnosti GEM System International)

čtvrtek 13. ledna 2011

Oracle BI Apps 7.9.7. pro SAP jsou již k dispozici

10.1.2011 byla oficiálně uvedena verze BI Application 7.9.7 pro SAP R/3 4.6c a ERP Central Component (ECC) 6.0. Verze obsahuje Oracle Financial Analytics, které pokrývají pohledávky, závazky, hlavní knihu a profitabilitu. Cílové oblasti pro FA jsou následující:

Receivables Analytics

AR Balance
AR Invoice Aging
AR Overview
AR Transactions

Payables Analytics

AP Balance
AP Invoice Aging
AP Overview
AP Transactions

General Ledger & Profitability Analytics

GL Balance Sheet
GL Budget and Expenses
GL Cash Flow
GL Detail Transactions
Profitability - Company
Profitability - Customer
Profitability - Product
Revenue Analysis

Stejně jako u verze BI Apps 7.9.5.2 je zde Informatica nahrazena Oracle Data Integratorem a jeho aplikačním adaptérem.

Oracle BI Apps 7.9.7 jsou ke stažení z edelivery.oracle.com

úterý 11. ledna 2011

Dashboard prompt pro opakovaný výběr sloupce dimenzionální tabulky

Při vytváření dahsboard promptu není úplně snadné do promptu dostat víckrát jednu dimenzi (např. – časový údaj Měsíc od a Měsíc do). Při opakovaném zadání stejného sloupce je požadavek ignorován.

Celkem schůdným řešením je vybrat slouopec pouze jednou a použít relaci „mezi“

Což vede k výsledku

Někdy však přece jenom potřebujeme, aby v promptu vystupovala jedna dimenze vícekrát než jednou – viz příklad:

Pak narazíme na problém, že při vytváření promptu není možné zadat víckrát stejný sloupec dimenze (v našem příkladě měsíc) víckrát.

Abychom to obešli, je třeba využít toho, že při tvorbě promptu se ve skutečnosti nekontroluje samotný sloupec, ale pouze jeho název. Stačí si tedy v prezentační vrstvě repository vytvořit k dotyčnému sloupci nějaký alias například ke sloupci „měsíc“ alias „mesic“. Potom při výběru do promptu

použijeme volbu funkce a jako výraz funkce zapíšeme namísto původního jména sloupce jeho alias

V našem případě tedy použijeme Time.“Mesic“, namísto původního Time.“Měsíc“. Nyní již je možno bez problému zadat do promptu stejný sloupec opakovaně – a to buď pod původním jménem nebo pod dalším aliasem.