Bases de datos

Vistes materialitzades d'Oracle per optimitzar un Datawarehouse

carlos — Thu, 21 Aug 2008 17:50:09 +0200

Com les càrregues d'un Data warehouse es realitzen de manera periòdica, i a més és habitual la creació de taules agregades per millorar l'eficiència i temps de resposta dels nostres informes, un recurs d'optimització física que pot aportar grans millores és la utilització de vistes materialitzades.

La vista materialitzada no és més que una vista, definida amb una sentència SQL, de la qual a més d'emmagatzemar la seva definició, s'emmagatzemen les dades que retorna, realitzant una càrrega inicial i després cada cert temps un refresc dels mateixos.

Així, si tenim un Datawarehouse que s'actualitza diàriament, podríem utilitzar vistes materialitzades per anar actualitzant taules intermèdies que alimentin els nostres esquemes de DWH, o directament per implementar taules agregades que es refrescaran a partir de les nostres taules basi.

La creació d'aquest tipus de vistes no tan complexa com pot semblar, el més important és tenir clar cada quant temps volem actualitzar la informació de les vistes, i quin mètode de refresc utilitzar.

Sintaxi bàsica per la creació d'una vista materialitzada

CREATE MATERIALIZED VIEW la meva_vista_materialitzada
             [TABLESPACE el meu_tablespace]
             [BUILD {IMMEDIATE | DEFERRED}]
             [REFRESH {ON COMMIT | ON DEMAND | [START WITH data_inici] NEXT data_interval } |
                            {COMPLETI | FAST | FORCE} ]
             [{ENABLE|DISABLE} QUERY REWRITE]
AS SELECT t1.camp1, t2.camp2
      FROM la meva_taula1 t1 , la meva_taula2 t2
      WHERE t1.camp_fk = t2.camp_pk
         AND …

Comentaris sobre les diferents opcions:

Càrrega de dades en la vista

BUILD IMMEDIATE:
Les dades de la vista es carreguen en el mateix moment de la creació

BUILD DEFERRED:
Només es crea la definició, les dades es carregaran més avanci. Per realitzar aquesta càrrega es pot utilitzar la funció REFRESH del package DBMS_MVIEW:
begin
dbms_mview.refresh('la meva_vista_

materialitzada');
end;

Mètode i temporalitat del refresc de les dades

Cada quant temps es refrescaran:

REFRESH ON COMMIT:
Cada cop que es faci un commit en els objectes origin definits en la select

REFRESH ON DEMAND:
Com amb l'opció DEFERRED del BUILD, s'utilitzaran els procedures REFRESH, REFRESH_ALL_MVIEWS o REFRESH_DEPENDENT del package DBMS_MVIEW

REFRESH [START WITH data_inici] NEXT data_interval:
START WITH indica la data del primer refresc (data_inici sol ser un SYSDATE)
NEXT indica cada quant temps s'actualitzarà (data_interval podria ser SYSDATE +1 per realitzar el refresc una vegada al dia)

De quina manera es refrescaran

REFRESH COMPLETE:
El refresc es farà de totes les dades de la vista materialitzada, la recrearà completament cada cop que es llanci el refresc

REFRESH FAST:
El refresc serà incremental, és l'opció més recomanable, el de fast ya dóna una idea del perquè.
Aquest tipus de refresc té bastants restriccions segons el tipus de vista que s'estigui creant.
Es poden consultar en General Restrictions on Fast Refresh de la documentació oficial d'Oracle

Una de les coses importants a tenir en compte és que per poder utilitzar aquest mètode gairebé sempre és necessari haver creat abans un LOG de la Vista materialitzada, indicant els camps clau en els quals es basarà el manteniment de la vista.
S'utilitza la instrucció CREATE MATERIALIZED VIEW LOG ON:

   CCREATE MATERIALIZED VIEW LOG ON la meva_taula_origen
      WITH PRIMARY KEY
      INCLUDING NEW VALUES;

REFRESH FORCE:
Amb aquest mètode s'indica que si és possible s'utilitzi el metodo FAST, i si no el COMPLETI.

Per saber si una vista materialitzada pot utilitzar el mètode FAST, el package DBMS_MVIEW proporciona el procedure EXPLAIN_MVIEW

Activació de la reescritura de consultes

ENABLE QUERY REWRITE:
Es permet a la base de dades la reescritura de consultes

DISABLE QUERY REWRITE:
Es desactiva la reescritura de consultes

L'opció QUERY REWRITE és la que més anem a utilitzar si volem les vistes materialitzades per optimitzar nostre Data warehouse.
Aquesta opció permet crear taules agregades en forma de vistes materialitzades, i que quan es llanci una SELECT la base de dades pugui reescriure-la per consultar la taula o vista que vagi a retornar les dades sol·licitades en menys temps, tot de manera totalment transparent a l'usuari

L'únic que cal fer és crear les taules agregades com a vistes materialitzades amb QUERY REWRITE habilitat.

Exemples de vistes materialitzades

Són moltes combinacions, però la sentència final no és tan complexa.

Primer pas de l'ETL

Si volguéssim crear una vista materialitzada d'una taula que es refresqui un dia a la setmana, i de manera incremental faríem el següent:

CREATE MATERIALIZED VIEW LOG ON la meva_taula_origen
   WITH PRIMARY KEY
   INCLUDING NEW VALUES;
CREATE MATERIALIZED VIEW la meva_vista_materialitzada
REFRESH FAST NEXT SYSDATE + 7
AS SELECT camp1, camp2, camp8
        FROM la meva_taula_origen
    WHERE camp2 > 5000;

Aquesta vista podria servir-nos per alimentar la càrrega d'un Data Mart que es realitzés setmanalment. Podríem programar-la perquè es refresqués just abans de l'inici del procés de càrrega, o com a primer pas en l'ETL, i ja tindríem les dades necessàries actualitzades, i independents de l'origen de dades (no hauríem de molestar més a l'operacional). Un altre avantatge a tenir en compte és que si hi ha algun problema amb l'accés a les dades origen, si no els hem eliminat, en la vista materialitzada encara tindrem les dades de l'últim refresc, amb el que encara que el refresc fallés no ens trobaríem un error que trunqués la càrrega de nostre Data Warehouse, o una taula buida.
Per descomptat, en les condicions del WHERE podríem seleccionar només els registres necessaris, només els de l'últim mes, etc.

Taules agregades

Un altre exemple important seria la utilització de vistes materialitzades per la creació de taules agregades:

CREATE MATERIALIZED VIEW vendes_agregades_mv
BUILD IMMEDIATE
REFRESH COMPLETI
ENABLE QUERY REWRITE
AS
SELECT aneu_producte, sum(import) total_vendes
FROM vendes;

Amb aquesta senzilla sentència es crearia una taula agregada de total de vendes per producte d'una suposada taula de vendes que seria la taula de fets.

A nivell de sessió també caldria assegurar-se que l'opció QUERY_REWRITE estigués activada. Per si per ventura s'habilita amb

ALTER SESSION SET QUERY_REWRITE_ENABLED=TRUE;

Si ara dintre d'aquesta sessió s'executa la sentència

SELECT sum(import)
FROM vendes;

la base de dades prepararà el pla d'execució tenint en compte la vista materialitzada creada i internament realitzarà la selecció sobre la vista vendes_agregades_mv.

Una manera senzilla de comprovar-ho, apart d'examinar el pla d'execució, o de comparar temps abans i després de la creació de la vista, o desactivant el QUERY_REWRITE, és comprovar que aquesta sentència retorna resultats en el mateix temps que la sentència

SELECT sum(import)
FROM vendes_agregades_mv;

Per consultar més detalls, o la sintaxi completa de la creació de vistes materialitzades en el capítol Create Materialized View del manual de referència SQL d'Oracle

Amb enterprise manager o amb la consola web de la base de dades també es poden crear les vistes materialitzades d'una manera més assistida, però igualment és important tenir clars els conceptes abans de fer-ho.

Construcció de scripts amb ajuda del diccionari

carlos — Thu, 21 Aug 2008 17:32:04 +0200

És bastant habitual si es treballa amb bases de dades que sovint s'hagi de realitzar alguna tasca de creació o alteració d'estructures, anàlisis, recompilació, etc. sobre objectes de la base de dades. Per això se sol crear un script amb nombroses sentències DDL, en les quals la majoria de les vegades l'únic que canvia és el nom de l'objecte a tractar.
En aquests casos pot estalviar-nos molt treball la utilització del diccionari de la base de dades per construir aquestes sentències dinámicament.

Posarem com a exemple la creació d'un nou camp per emmagatzemar la data de creació dels registres en totes les taules d'un esquema d'una base de dades ORACLE. Per això utilitzaríem la següent sentència:

SELECT 'ALTER TABLE ' || OWNER || '.' || TABLE_NAME || ' ADD FECHA_CREACION DATE DEFAULT SYSDATE;' FROM ALL_TABLES WHERE OWNER ='HR';El resultat seria alguna cosa com això: ALTER TABLE HR.DEPARTMENTS ADD FECHA_CREACION DATE DEFAULT SYSDATE; ALTER TABLE HR.EMPLOYEES ADD FECHA_CREACION DATE DEFAULT SYSDATE; ALTER TABLE HR.JOB_HISTORY ADD FECHA_CREACION DATE DEFAULT SYSDATE; ALTER TABLE HR.JOBS ADD FECHA_CREACION DATE DEFAULT SYSDATE; ALTER TABLE HR.LOCATIONS ADD FECHA_CREACION DATE DEFAULT SYSDATE; ALTER TABLE HR.REGIONS ADD FECHA_CREACION DATE DEFAULT SYSDATE; ALTER TABLE HR.COUNTRIES ADD FECHA_CREACION DATE DEFAULT SYSDATE;

Ara només restaria guardar aquestes sentències en un script i executar-ho, o llançar-les directament des de l'aplicació que utilitzem per interactuar amb la nostra base de dades Pel qual hagi de (o prefereixi) treballar des d'un terminal o linea de comandos, la manera de fer això mateix amb SQLPLUS seria la
següent:

SQL> SET HEADING OFF SQL> SET FEEDBACK OFF SQL> SPOOL C:\campo_auditoria.sql SQL> SELECT 'ALTER TABLE ' || OWNER || '.' || TABLE_NAME || ' ADD FECHA_CREACION DATE DEFAULT SYSDATE;' FROM ALL_TABLES WHERE OWNER ='HR'; SQL> SPOOL OFF; SQL> SET FEEDBACK ON SQL> SET HEADING ON I finalment executar el script generat, encara que és recomanable una revisió prèvia de les sentències generades SQL> @C:\campo_auditoria.sql

Com crear un nou esquema a Oracle pas a pas

carlos — Mon, 21 Jul 2008 17:49:23 +0200

Per poder realitzar tots els passos és necessari iniciar la sessió en la base de dades amb un usuari amb permisos d'administració, el més senzill és utilitzar directament l'usuari SYSTEM

Creació d'un tablespace per a dades, i un altre per a índexos. Aquests tablespaces són la ubicació on s'emmagatzemaran els objectes de l'esquema que crearem.

Tablespace per a dades, amb mida inicial de 1024 Mb, i autoextensible

CREATE TABLESPACE "APPDAT"

LOGGING DATAFILE '/export/home/oracle/oradata/datafiles/APPDAT.dbf' SIZE 1024 M

EXTENT MANAGEMENT LOCAL SEGMENT SPACE MANAGEMENT AUTO

Tablespace per a índexos, amb mida inicial de 512 Mb, i autoextensible

CREATE TABLESPACE "APPIDX"

LOGGING DATAFILE '/export/home/oracle/oradata/datafiles/APPIDX.dbf' SIZE 512 M

EXTENT MANAGEMENT LOCAL SEGMENT SPACE MANAGEMENT AUTO

Creació de l'usuari que treballarà sobre aquests tablespaces, i que serà el propietari dels objectes que es creïn en ells

CREATE USER "APP" PROFILE "DEFAULT" IDENTIFIED BY "APPPWD"
DEFAULT TABLESPACE "APPDAT" TEMPORARY TABLESPACE "TEMP" ACCOUNT UNLOCK;

Només falta assignar-li els permisos necessaris per treballar. Si se li assignen els rols 'Connect' i 'Resource' i ja tindrà els permisos mínims

GRANT "CONNECT" TO "APP";
GRANT "RESOURCE" TO "APP";

Completem l'assignació de permisos amb privilegis específics sobre objectes per assegurar-nos que l'usuari pugui realitzar totes les operacions que creguem necessàries

GRANT ALTER ANY INDEX TO "APP";
GRANT ALTER ANY SEQUENCE TO "APP";
GRANT ALTER ANY TABLE TO "APP";
GRANT ALTER ANY TRIGGER TO "APP";
GRANT CREATE ANY INDEX TO " APP";
GRANT CREATE ANY SEQUENCE TO " APP";
GRANT CREATE ANY SYNONYM TO " APP";
GRANT CREATE ANY TABLE TO "APP";
GRANT CREATE VIEW TO "APP";
GRANT DELETE ANY TABLE TO "APP";
GRANT DROP ANY INDEX TO "APP";
GRANT DROP ANY SEQUENCE TO "APP";
GRANT DROP ANY TABLE TO " APP";
GRANT DROP ANY TRIGGER TO "APP";
GRANT DROP ANY VIEW TO "APP";
GRANT INSERT ANY TABLE TO "APP";
GRANT QUERY REWRITE TO "APP";
GRANT SELECT ANY TABLE TO "APP";
GRANT UNLIMITED TABLESPACE TO "APP";

Ara l'usuari ja pot connectar-se i començar a treballar sobre el seu esquema

Material sobre bases de dades 'lliures', Màster de la UOC

carlos — Thu, 17 Jul 2008 12:05:36 +0200

En la Universitat Oberta de Catalunya es pot cursar el Màster de 'Programari Lliure' sobre sofware de Lliure Distribució. Per estar d'acord amb la filosofia lligada al desenvolupament d'aquest tipus de sofware la UOC ha decidit anar publicant les anotacions de les assignatures que es van cursant en aquest Màster.
Una d'aquestes publicacions són les anotacions de l'assignatura Bases de Dades, on s'expliquen els conceptes més importants sobre bases de dades, evolució històrica, el model Relacional de Bases de Dades, el llenguatge de consulta SQL i disseny de models de bases de dades. Després es pot aplicar aquesta teoria sobre MySQL i PostgreSQL, dues dels sistemes gestors de base de dades de lliure distribució més coneguts, dels quals s'aporten característiques, detallis funcionament i nocions d'administració.
El temari que abasten aquestes anotacions, extret de l'índex del mateix document, és el següent:

Mòdul didàctic 1
Introducció a les bases de dades
Rafael Camps Vaig parar
1. Concepte i origen de les BD i dels SGBD
2. Evolució dels SGBD
3. Objectius i funcionalitat dels SGBD
4. Arquitectura dels SGBD
5. Models de BD
6. Llenguatges i usuaris
7. Administració de BD

Mòdul didàctic 2
El model relacional i l'álgebra relacional
Dolors Costal Costa
1. Introducció al model relacional
2. Estructura de les dades
3. Operacions del model relacional
4. Regles d'integritat
5. L'álgebra relacional

Mòdul didàctic 3
El llenguatge SQL
Carme Martín Escofet
1. Sentències de definició
2. Sentències de manipulació
3. Sentències de control
4. Sublenguajes especialitzats

Mòdul didàctic 4
Introducció al disseny de bases de dades
Dolors Costal Costa
1. Introducció al disseny de bases de dades
2. Disseny conceptual: el model ER
3. Disseny lògic: la transformació del model ER en el model relacional

Mòdul didàctic 5
Bases de dades en MySQL
Luis Alberto Casillas Santillán; Marc Gibert Ginestà; Oscar Pérez Habita
1. Característiques de MySQL
2. Accés a un servidor MySQL
3. Creació i manipulació de taules
4. Consultes
5. Administració de MySQL
6. Clients gràfics

Mòdul didàctic 6
Bases de dades en PostgreSQL
Marc Gibert Ginestà; Oscar Pérez Habita
1. Característiques de PostgreSQL
2. Introducció a l'orientació a objectes
3. Accés a un servidor PostgreSQL
4. Creació i manipulació de taules
5. Manipulació de dades
6. Funcions i disparadores
7. Administració de PostgreSQL
8. Client gràfic: pgAdmin3

Mòdul didàctic 7
Desenvolupament d'aplicacions en connexió amb bases de dades
Marc Gibert Ginestà
1. Connexió i ús de bases de dades en llenguatge PHP
2. Connexió i ús de bases de dades en llenguatge Java

Mòdul didàctic 8
Cas d'estudi
Marc Gibert Ginestà
1. Presentació del cas d'estudi
2. El model relacional i l'álgebra relacional
3. El llenguatge SQL
4. Introducció al disseny de bases de dades
5. Bases de dades en MySQL
6. Bases de dades en PostgreSQL
7. Desenvolupament d'aplicacions en connexió amb bases de dades

Apèndix
GNU Free Documentation License

Es pot descarregar el document en format PDF a través del següent enllaç:
Anotacions Bases de Dades Màster UOC

O accedir a est i a altres interessants anotacions d'assignatures del Màster sobre Programari Lliure a través del següent enllaç:
Apuntis Màster Programari Lliure UOC

Carlos Fernández