Oracle 12cR2 Multitenant Environment: Introduzione

domenica 12 agosto 2018 alle 12:57 | Pubblicato su 12cR2, Diario | Lascia un commento
Tag:

Dicono che nella vita e nel lavoro bisogna stabilire degli obiettivi, questi obiettivi devono essere ben definiti e devono essere “realistici”; questo allo scopo di trovare giuste motivazioni e stimoli, di crescere e di provare soddisfazione in ciò che si fa. Io non sono un gran esperto di questa materia, magari ne so qualcosa a livello pratico perché come ognuno di noi ho da risolvere molti problemi di vita quotidiana, sia personale che professionale, però non sono mai stato capace di studiarne la teoria; quando ci ho provato mi sono trovato a fare queste considerazioni: o si trattava di concetti banali che ognuno di noi conosce gia bene, oppure di cose che mi sembravano idiozie.

Il preambolo che ho fatto è dovuto al fatto che in un momento di ritrovata “tranquillità” ho deciso di provare a stabilire un nuovo obiettivo professionale. Dopo essere riuscito quantomeno a portarmi in pari con la preparazione su Oracle 12c (release 1) voglio avanzare con la versione 12cR2 e quindi 18c (che fra pochi mesi sarà 19…). Ho cominciato a scorrere i manuali e devo dire che la prima impressione che ho avuto è che la release 2 della versione 12c completi molte cose mancanti  della prima release.

Ho cominciato la mia analisi dall’argomento “multitenant enviroment”, cerco quindi, come ho sempre fatto qui, di riassumere un po’ di concetti. L’idea è di fare una panoramica generale, però usando come base di partenza la versione 12cR1, quindi non entrando nel dettaglio di cose che erano già state introdotte con la prima versione di Oracle 12c ma soffermandomi più nel dettaglio nelle novità introdotte con la seconda release.

Devo dire che ho sempre cercato di usare terminologie in un linguaggio coerente, in alcuni casi, dove era facil, con termini tradotti in italiano, il altri casi no. Questa cosa mi riesce sempre più difficile, quindi mi devo scusare se si troverà un po’ di confusione nei miei testi.

Multitenant Architecture

(Riferimento: Oracle Concepts)

Un container è un insieme di schemi, oggetti e strutture collegate in un multitenant container database (CDB). Il CDB root, anche chiamato “root” o “system root” (o anche root di sistema) è l’insieme di schemi e oggetti non di schema a cui tutti i PDB appartengono. Ogni CDB ha uno e uno solo “root container” chiamato CDB$ROOT. Tutti i PDB appartengono al root.  Si definisce “system container” il CDB root e tutti i PDB che appartengono a questo root. Oracle raccomanda di non creare oggetti e memorizzare dati utente nel CDB root.

Un PDB è un insieme di schemi, oggetti e strutture collegate che appaiono logicamente a una applicazione cliente come un database a se stante. Ogni PDB è di proprità di SYS che è un utente comune del CDB.

Ci sono diversi tipi di PDB:

  • Standard PDB, a loro volta possono essere:
    • PDB innestati nel CDB root
    • Application PDB
    • refreshable clone PDB (read only)
    • snapshot copy PDB, questi hanno la caratteristica di non poter essere poi scollegati (unplugged)
  • Application root, è un “root container” “application specific”, esso viene utilizzato come “repository” per la definizione globale (“master definition”) di un terminale per un’applicazione (“application back end”) dove sono inclusi dati e metadati comuni.
  • Seed PDB, si tratta di un modello di PDB da cui si possono creare nuovi PDB, ve n’è sempre uno di sistema nel CDB root chiamato PDB$SEED. Poi ci possono dei “application seed PDB” negli application container (nuovo oggetto introdotto in Oracle 12cR2 che verrà definito più avanti).
  • Proxy PDB, sono PDB che usano un database link per fare riferimento a un PDB su un CDB remoto. Per rendere l’idea si può pensare all’analogia con un link simbolico su un filesystem Linux.

E’ possibile accedere da un PDB a un’altro PDB con due metodi, uno gia dispobile con la prima release di Oracle 12c è quello del database link, l’altro invece, nuovo, è l’uso della clausola “CONTAINER()” nelle query. Per gli “application container”  esiste poi il concetto di oggetto comune.

Architettura del dizionario dati in un CDB

Al fine di ottimizzare e rendere flessibile il funzionamento del dizionario dati con l’architettura multitenant Oracle ha implementato delle soluzioni particolari.

Metadata e Data links

l’architettura multitenant si basa su dei “link” che permettono la condivisione di dati e/o metadati tra root e PDB. Giusto per fare un esempio semplice su una di queste tipologie di link si basa la condivisione delle definizione degli oggetti di sistema predefiniti sul database Oracle, si pensi giusto per citare un caso i vari package PL/SQL forniti. Ci sono tre tipologie di link:

  • Metatada link, i metadti degli oggetti di sistema (ad esempio la definizione delle tabelle TAB$, OBJ$, ….)stanno solo sul root, nei PDB ci sono dei metadata link che puntano ai metadati contenuti nel root per questi oggetti.
  • Data link, in 12cR1 venivano chiamati “Object Link”, usato ad esempio per i dati di AWR.
  • Extended data link, novita della R2 è un ibrido tra il data link e il metadata link. Riferisce oggetti nell'”application root” ma anche a corrispondenti oggetti negli “application PDB”

Oracle crea e gestisce metadata e data link verso CDB$ROOT, gli utenti non possono aggiungere, modificare o rimuovere questi link.

Container Data Objects

Un “container data object” è una tabella o vista contenente dati che riguardano più container o l’intero CDB. Un esempio di questa tipologia di oggetti sono le viste V$ e CDB_. Tutti i “container data object” hanno una colonna di nome CON_ID che permette di associare il dato della riga a un container.

Cross-Container Operations

Una “cross-container operation” (o operazione inter-container) è un comando DDL o DML che agisce su più container in una volta. Solo un utente comune connesso o al CDB root a un application root può eseguire “cross-container operation”.

Una cross-container operation può toccare:

  • il CDB
  • più container dentro il CDB
  • più “fenomeni” come ad esempio utenti comuni o role comuni
  • un container su cui l’utente che sta eseguendo il comando DDL o DML non è correntemente connesso

Esempi di operazioni inter-container sono la concessione di privilegi in modo comune a un utente comune da parte dell’utente SYSTEM, oppure un comando “ALTER DATABASE … RECOVER” che si applica all’intero CDB.

Quando si è collegati al CDB root a un application root si può eseguire un singolo comando DML per modificare tabelle o viste in più PDB nel container (CDB). Il database deduce i PDB obiettivo del comando dal valore della colonna CON_ID specificato nel comando DML. Se non è specificato nessuno CON_ID allora il database usa il valore della proprietà CONTAINERS_DEFAULT_TARGET specificato dal comando “ALTER PLUGGABLE DATABASE CONTAINERS DEFAULT TARGET.

Riporto un esempio dal manuale:

CONNECT sales_admin@saas_sales_ac
Password: *******

UPDATE CONTAINERS(sh.sales) sal 
  SET sal.country_name = 'USA' 
  WHERE sal.CON_ID IN (7,8);

Affinché funzioni questa tipologia di comandi l’oggetto deve essere definito allo stesso modo su tutti i PDB coinvolti.

Application Container

Siamo a una delle grosse novità della seconda release di Oracle 12c. Un “application container” (container per applicazioni?) è una componente opzionale, creata dagli  utenti di un CDB che può memorizzare dati e metadati per uno o più “application back end”. In un CDB ci possono essere zero o più application container. Per ogni application container ci sono essere zero o più PDB. Un application container ha una sua root chiamata “application root”, analoga alla root del CDB (che si chiama anche “system root”). Un application container viene create con il comando “CREATE PLUGGABLE DATABASE” con l’aggiunta della clausola “AS APPLICATION CONTAINER”, in questo modo viene create la “root” dell’application container, senza alcun PDB. La root rappresenta l’application container stesso. Per aggiungere PDB all’application container occorre collegarsi alla application root e da li lanciare i comandi di creazione.

Un application container ha un nome univoco all’interno del CDB e un service name che viene registrato sul listener per permettere un accesso remoto.

Un application container per certi versi può essere visto come un nuovo livello di astrazione ed è come un CDB all’interno di un’altro CDB, con in più la possibilità di avere dati e metadati condivisi tra più CDB. Questi dati e metadati vengono salvati nella application root.

In un application container si definisce “application” (applicazione) un insieme di dati e metadati che hanno un nome e che possono essere versionati. Una tipica applicazione installa utenti comuni dell’applicazione, oggetti comuni “metadata linked” (stessa definizione/struttura ma dati diversi nei vari PDB) e oggetti comuni “data linked” (dati e struttura comuni ai PDB).

Riporto una immagine dal manuale “Concepts” che mi sembra rappresenti in modo chiaro un esempio di uso di un “application container”:

Description of Figure 19-8 follows

Gli esempi fanno molti riferimenti a SaaS, Software as a Service, che sembra essere l’ambito per cui si è pensata  questa architettura. Si fanno anche esempi di architetture per datawarehouse, poi ognuno penso possa cercare di sfruttare questa nuova possibilità per sviluppare nuove idee.

Come accennato sopra nella application root di possono creare oggetti comuni, di tre tipologie:

  • data-linked common object. l’oggetto viene condiviso tra tutti i PDB sia come struttura che come dati
  • metadata-linked common object. Viene condivisa solo la struttura, ogni PDB avrà un suo insieme di dati.
  • extended data. In questo caso c’è sempre una struttura comune, poi c’è un insieme di dati comuni e infine ogni PDB aggiunge una sua parte di dati.

Per creare un oggetto comune nella application root si aggiunge alla DDL la clausola SHARING con il tipo di condivisione che può essere  “METADATA”, “DATA”,  “EXTENDED DATA” o “NONE”. Esiste anche un parametro “DEFAULT_SHARING” che stabilisce la tipologia di condivisione da adottare per default. Anche qui preferisco riportare dal manuale una tabellina riassuntiva:

Object Type SHARING Value Metadata Storage Data Storage
Data-Linked DATA Application root Application root
Extended Data-Linked EXTENDED DATA Application root Application root and application PDB
Metadata-Linked METADATA Application root Application PDB

Sul manuale vengono riportati anche degli esempi che aiutano a chiarire e comprendere meglio.

Quando abbiamo definito il concetto di “application” abbiamo detto che può essere versionata, non entro qui nel dettaglio ma voglio riportare un’altra immagine significativa dal manuale:

Description of Figure 19-9 follows

Il concetto importante secondo me è che l’applicazione viene aggiornata nella root. Aggiornare l’applicazione in sostanza significa eseguire alcune DDL (creare tabelle, aggiungere campi, ecc., …). Dopo ogni PDB viene sincronizzato, ovvero recepisce l’aggiornamento. Per gestire questa cosa Oracle crea un clone dell’application root a cui saranno collegati i PDB non sincronizzati. Se vogliamo alla fine il concetto è quello che si applica anche al meccanismo dell'”UNDO” del database.

Leggendo il manuale mi è venuta la curiosità di sapere se è possibile creare più “applicazioni” in uno stesso application container, voglio fare un prova per soddisfare questa curiosità.

Container Map

Una “container map” (mappa di container?) è un costrutto che permette a una sessione collegata a un application root di lanciare statement SQL che vengono indirizzati ad appropriati PDB, a seconda del valore di un predicato utilizzato nello statement SQL.

Una “map table” (mappa) specifica una colonna in una tabella comune “metadata-linked” e usa partizioni per associare ogni PDB dell’application container a diversi valori della colonna. Si tratta insomma di un partizionamento dati che ripartisce i dati fra PDB. Le compenenti per una “container map” sono quindi:

  • una tabella “metadata-linked”
  • una tabella mappa (o mappa o map table). Si tratta di una tabella con una sola colonna partizionata per liste, hash o range. I nomi delle partizioni di questa tabella mappa devono corrispondere ai nomi dei PDB e il nome della colonna deve corrispondere a una colonna della tabella “metadata-linked” del punto precedente.
  • Container map. E’ una proprietà del database che specifica il nome della mappa, si imposta dall’application root con il comando “ALTER PLUGGABLE DATABASE SET CONTAINER_MAP=>map_table>

La sintassi per creare la mappa è quella per le tabelle partizionate di Oracle Partitioning ma non è un tabella partizionata e non è neccessaria l’opzione Oracle Partitioning.

Services

Come accennato in precedenza per ogni PDB e per ogni application container viene creato per default un service name che viene registrato sul listener. Questo service name è uguale al nome del PDB o dell’application container. E’ possibile definirne altri fino a un massimo globale di 10mila. La sintassi del comando “ALTER SESSION SET CONTAINER” è stata estesa con la possibilità di specificare anche il service con la clausola “SERVICE”.

Shared e Local Undo Mode

Altra notevole novità è la possibilità di impostare un CDB nella modalità “local undo mode” in cui ogni PDB ha la sua tablespace di undo (il db crea automaticamente la tablespace in ogni PDB). Uno dei vantaggi di questa modalità è la possibilità di fare copie a caldo dei PDB. L’altra modalità viene definita “shared undo mode” ed è quella gia presente sulla prima release e che consiste nella condivisione di una unica tablespace di UNDO per tutto il CDB. Il passaggio da una modalità all’altra è possibile ma richiede il riavvio del database.

Flashback

Pur non essendo un accanito utilizzatore della funzionalità “Flashback database” credo che questa fosse perlomeno una cosa che mancava nella prima release, la possibilità di fare il flashback di un singolo PDB; a livello di PDB è possibile definire “restore point” normali o “guaranteed” (che non scadono mai e devono essere rimossi esplicitamente). Senza questa possibilità obiettivamente la funzionalità con l’architettura multitenant era inutile.

Resource Manager

Anche il resource manager  è stato migliorato per supportare meglio le nuove caratteristiche dell’architettura multitenant oltre per migliorare quanto gia presente.

Performance profile

Un performance profile specifica le “share” di risorse di sistema per un insieme di PDB. I PDB performance profile permettono di gestire risorse per un gran numero di PDB specificando direttive del resource manager per profile anziché per singolo PDB. Le direttive controllano l’allocazione di CPU e di processi per l’esecuzione parallela (parallel execution server), com’era gia nella versione 12.1 e come gia in quella versione è possibile definire dei limiti assoluti per CPU e processi paralleli.

Controllo della memoria a livello di PDB

E’ possibile configurare l’uso di memoria (SGA e PGA) a livello di singolo PDB usando i tre seguenti parametri per ciascun PDB:

  • SGA_MIN_SIZE. stabilisce una quantità minima di SGA riservata al PDB
  • SGA_TARGET, stabilisce la quantità massima di SGA utilizzabile dal PDB
  • PGA_AGGREGATE_LIMIT. stabilisce la quantità massima di PGA utilizzabile dal PDB.

Controllo dell’I/O a livello di PDB

Anche sull’I/O sono stati introdotti due parametri per limitare il consumo di risorse a livello di singolo PDB per sistemi non ingegnerizzati (cioè ad esempio non Exadata che ha gia meccanismi suoi per fare la stessa cosa), i parametri sono:

  • MAX_IOPS. limita il numero di IOPS per singolo PDB
  • MAX_MBPS. limita la banda in MB/s per le operazioni di I/O a livello di singolo PDB.

Character Set

Con la versione 12.2 è possibile avere PDB con diversi character set, questo a condizione che il CDB abbia come character set AL32UTF8, Oracle raccomanda (ed è impostato come default) l’uso del character set AL32UTF8 per il CDB. La documentazione dice che si possono anche creare (oltre che “innestare”) PDB con character set diversi, questa affermazione però pare fuorviante, qui si chiarisce quanto ho dedotto io cercando nella documentazione: non è possibile specificare un character set nella creazione di un nuovo PDB, occorre fare giri diversi.

 

Annunci

Oracle 12cR1 e 12cR2

lunedì 30 luglio 2018 alle 30:03 | Pubblicato su 12cR2, Diario, Oracle Certification | Lascia un commento

Ebbene, con un certo ritardo, ma sempre meglio tardi che mai dico io, sono riuscito a recuperare un po’  di ritardo e istruirmi un po’ su Oracle 12c R1; alcuni giorni fa sono riuscito a superare l’esame per aggiornare la certificazione Oracle database OCP alla versione 12c, non è stata una passeggiata. Per la verità ho fallito un primo tentativo, cosa che ha colpito un po’ il mio orgoglio e mi aveva anche un po’ abbattuto. Fra l’altro la cosa forse peggiore era il fatto che avessi fallito la sezione dell’esame “Key DBA Skills” superando invece quella “12c new features”. Sta di fatto che alla fine, studiando alla fine ce l’ho fatta e sento anche di aver dato un po’ una smossa alla mia testa che fino a un paio di mesi fa faceva assai fatica a ordinare i tanti concetti nuovi. Ora vorrei approfittare del fatto di aver lubrificato il mio cervello cercando di mantenermi al passo facendo un nuovo scalino e studiando le nuove caratteristiche introdotte con la versione 12cR2, d’altra parte è una versione disponibile “on-premise” da quasi un anno e mezzo, mentre da pochi giorni è disponibile la 18c che vorrei iniziare a vedere e provare in breve tempo ma dopo aver preso dimestichezza con la 12cR2.

La mia idea è di partire da qui, magari prendendo un po’ di appunti e pubblicandoli pure come post su questo blog. A occhio non mi sembra ci siano poche cose, quindi credo che mi ci vorrà un po’.

SQLcl, UTF-8 e windows

giovedì 26 luglio 2018 alle 26:19 | Pubblicato su 12c, Diario, Installation and Configuration | Lascia un commento

Oggi ho provato a scaricare e vedere com’è l’ultima versione di SQL Developer, la 18.2. Ho dato una rapida occhiata e non ho visto cose stratosferiche. Il problema è che più invecchio più mi sento distante dall’informatica moderna dove tutti vogliono interfacce grafiche, mentre io mi ostino a usare  e preferire per molte attività interfacce a linea di comando. Continuo a non vedere grandi vantaggi. D’altra parte continuo a ritenere che i migliori sistemi sono quelli che hanno la possibilità di essere controllati con comandi a linea di comando che permettono di prepare script che rendono le attività ripetitive una cosa assai facile. Poi sopra ci si può implementare interfacce grafiche che aiutano per attività più sporadiche o per dare delle panoramiche di un sistema. Anche Oracle implementa tutto o quasi via SQL, poi c’è la console grafica Cloud Control che permette senz’altro una gestione globale e generale più facile. Ho un po’ divagato rispetto al tema che voglio trattare in questo post. Su SQL Developer ho visto un link a SQLcl, una sorta di sostituto di SQL*Plus, ovvero un client a linea di comando SQL. SQLcl mi sembra per molte cose compatibile con SQL*Plus ma con in più qualche miglioria, anche qui mi vien da dire non cose stratosferiche. Ho provato a vedere se c’è la “dynamic linesize”, come su SQL*Plus 18.1, ma non l’ho trovato, con un certo sconforto. Poi mi è venuto in mente di controllare come gestisce la codifica in UTF-8, al riguardo negli anni ho avuto sempre qualche problema ed ho scritto una serie di post, l’ultimo dovrebbe essere questo. Quel post è del 2013, siamo arrivati al 2018 e poco è cambiato. Ho fatto un rapido test per vedere come SQLcl gestisce la codifica e il risultato è stato negativo. Ho quindi fatto una rapida ricerca, arrivando qui. Credo di esserci gia passato qualche tempo fa ma probabilmente non ho avuto modo di approfondire ne’ scrivere qualcosa, ho quindi deciso di farlo oggi. Senza farla tanto lunga, per gestire un po’ la codifica di caratteri particolari in UTF-8 occorre, sotto windows sempre settare il font a “Lucida Console”, settare il codepage a 65001 (chcp 65001) e poi, non basta. A quanto pare SQLcl non usa le variabili d’ambiente, quindi settare o meno NLS_LANG=.AL32UTF8 come faccio con SQL*Plus non sembra fare differenza e lo stesso Jeff Smith afferma che non vengono lette variabili d’ambiente per settare gli NLS. Siccome quanto affermato nel post con la mia installazione di SQLcl su win7 non funziona,

-----------
Luned�
Marted�
Mercoled�
Gioved�
Venerd�
Sabato
Domenica

ho scorso i commenti, fino ad arrivare a questo. Le cose migliorano:

 Lunedì

 Martedì

 Mercoledì

 Giovedì

 Venerdì

 Sabato
 Domenica

C’è una anomalia nella formattazione che sembra che in coda al carattere accentato venga messo un accapo, anche se non è così… boh.

Le cose se facciamo una prova con una cosa tipo: “select ‘è’ from dual;” non vanno benissimo:


CRISTIAN@svil > select '�' from dual;



è

Che poi è sempre meglio di SQL*Plus:

CRISTIAN@svil > select 'è' from dual;
Disconnected from Oracle Database 11g Enterprise Edition Release 11.2.0.4.0 - 64bit Production
With the Partitioning, Oracle Label Security, OLAP, Data Mining,
Oracle Database Vault and Real Application Testing options

 

La risposta secondo me sta tutta in questo commento in cui Jeff Smith aspetta da MSFT un terminale decente…secondo me non c’è speranza

Trasportare Dati

lunedì 18 giugno 2018 alle 18:24 | Pubblicato su 12c, Diario | Lascia un commento

Titolo breve e semplice, tratto da questo capitolo del manuale Oracle. Quello che voglio fare in effetti è solamente un breve riassunto del contenuto di quel capitolo del manuale “Oracle Database Administrator’s Guide” che parla di una tecnica per trasportare in modo efficente e veloce grosse moli di dati da un database Oracle a un’altro. Il principio di base è quello di saltare un passaggio rispetto a un classico export e import tramite Oracle Data Pump. Infatti, se pensiamo di utilizzare un dump per portare dei dati da un database a un’altro dobbiamo esportare i dati su un file di dump, copiare il file di dump sulla macchina dove si trova il database di destinazione e li importare i dati dal dump al database. Con l’opzione TRANSPORTABLE=ALWAYS è possibile in Oracle 12c (e a certe condizioni gia dalla versione 11.2.0.3) effettuare un export che in realtà nel dump generato metterà solo i metadati e nel caso di FULL=Y (intero database) eventualmente anche i dati di oggetti utente che dovessero stare su tablespace di sistema (SYSTEM e SYSAUX).  Credo che nel banale caso di tabelle utente che risiedano su una di queste due tablespace sarebbe anche meglio sanare la situazione prima, poi non so se ci possono essere casi particolari o motivazioni per cui non possa essere fatto. In ogni caso il principio è che in questo modo anche se dobbiamo spostare grossi volumi di dati l’operazione di export dovrebbe essere relativamente veloce. Preventivamente occorre mettere in modalità READ-ONLY le tablespace contenenti i dati utente, infatti, una volta lanciato il comando di export che come scritto sopra si limiterà, nel caso migliore,  a genere un file di dump che conterrà solo i metadati del database di origine. A quel punto si deve copiare sul file di destinazione questo file di dump e i datafile delle tablespace contenenti i dati utente (quelle che abbiamo messo in modalità READ-ONLY). Sul database di destinazione l’operazione di import farà specularmente le operazioni fatte sul database di origine con l’export, importerà i metadati degli oggetti e in più ricollegherà i datafile al nuovo database.  Come si può intuire, se il volume di dati è molto alto con questa tecnica il tempo necessario è solo quello di trasporto dei datafile, le operazioni di export e import non devono elaborare tutti i dati e quindi il risparmio di tempo può essere notevole.

Quello che ho descritto sinteticamente è il caso di Full transportable export/import, ovvero export e import di un intero database e che si attiva con i due parametri FULL=Y e TRANSPORTABLE=ALWAYS. Il parametro (e la modalità) TRANSPORTABLE=ALWAYS in associazione con FULL=Y è una novità di Oracle 12c, con Oracle 11.2.0.1 era stato introdotto ma era utilizzabile solo con il parametro TABLES per esportare tabelle o partizioni con la stessa logica. Già da prima di Oracle 11g esisteva la modalità “Transportable Tablespace Mode” che si basa sempre sullo stesso principio, ovvero esportare sul file di dump solo i metadati e affidarsi direttamente alla copia dei datafile per i dati veri e propri.

Vi sono una serie di limitazioni e casi particolari a cui porre attenzione per poter usare la modalità “TRANSPORTABLE”, prima di tutto occorre verificare l'”endianess” delle piattaforme di origine e destinazione, se sono diverse occorre convertire i datafile. La conversione può essere fatta con i metodi GET_FILE/PUT_FILE del package PL/SQL DBMS_FILE_TRANSFER o con il comando CONVERT di RMAN. Occorre porre attenzione alle tablespace criptate e nel caso di tablespace e tabelle/partizioni occorre fare attenzione al tipo dato TIMESTAMP WITH TIME ZONE, se i database di origine e destinazione hanno versioni diverse del file delle timezone i dati non vengono importati. Un problema analogo vale per tutti i casi, TABLE/PARTITION, TABLESPACE e FULL,  per il tipo dato TIMESTAMP WITH LOCAL TIME ZONE se i database di origine e destinazione hanno diversa “DBTIMEZONE”.

Rimando al capitolo del manuale indicato all’inizio per esempi molto ben fatti e chiari e maggiori dettagli sulle limitazione e casi particolari.

Oracle Resource Manager con CDB e PDB

venerdì 15 giugno 2018 alle 15:42 | Pubblicato su 12c, Diario, Installation and Configuration, Performance Tuning | Lascia un commento

Con l’introduzione dell’architettura “multitenant” in Oracle 12 si sono stati degli aggiornamenti e delle estensioni al funzionamento di Oracle Resource Manager che è lo strumento per ripartire in base a determinate esigenze le risorse disponibili su un server.  Confesso di non aver mai potuto testare e vedere in azione veramente il resource manager, credo di avere fatto solo delle piccole prove per gestire sessioni inattive e bloccanti ma non sono andato oltre. Oltre dieci anni fa (!) ho scritto un mio riassunto di cui ho parlato in questo post.  Dopo tanto tempo ho l’ambizione di fare un post riassuntivo delle novità del resource manager nell’ambito di Container database e Pluggable database.

Con l’architettura multitenant si è aggiunto un livello ulteriore su cui gestire le risorse in un database Oracle. Per cui in Oracle 12 su un database CDB il resource manager lavora a due livelli:

  • a livello CDB, in cui smista le risorse fra i PDB
  • a livello di PDB che come nella versione precedente smista le risorse fra gli utenti del singolo PDB.

Faccio riferimento a questa sezione del manuale Oracle.

CDB Resource Plans

un CDB resource plan alloca le risorse ai PDB in base al suo insieme di direttive (resource plan directives).

C’è una relazione padre-figlio tra un CDB resource plan e le sue direttive. Ogni direttiva fa riferimento a un PDB e non ci possono essere due direttive nel piano correntemente attivo che fanno riferimento allo stesso PDB.

Le direttive controllano l’allocazione delle seguenti risorse ai PDB:

  • CPU
  • Parallel execution server.

Le direttive di un CDB resource plan sono molto semplici, hanno tre parametri:

  • SHARE: rappresenta la fetta di CPU e di parallel server riservata al PDB
  • UTILIZATION_LIMIT: è un limite superiore alla percentuale di CPU utilizzabile dal PDB
  • PARALLEL_SERVER_LIMIT: è un limite superiore percentuale (sul valore impostato tramite il parametro PARALLEL_SERVERS_TARGET)

Esiste una direttiva di default per i PDB per cui non è stata definita una direttiva e assegna uno share e un limite del 100% sia per UTILIZATION_LIMIT e PARALLEL_SERVER_LIMIT.   Questa direttiva può essere modifica con la procedura dedicata del package DBMS_RESOURCE_MANAGER UPDATE_CDB_DEFAULT_DIRECTIVE.

C’è poi un’altra direttiva predefinita, chiamata AUTOTASK che si applica ai task di gestione automatica (automatic maintenance tasks) che girano nel root duranto le finestre di manutenzione. Questa direttiva può essere modificata con la procedura UPDATE_CDB_AUTOTASK_DIRECTIVE

Una cosa curiosa, scritta sul manuale, è che se un PDB viene scollegato “unplugged” la direttiva che lo riferisce viene mantenuta e nel caso il PDB venga ricollegato viene riutilizzata. Qui ho una lacuna da colmare perché mi sembra di ricordare dai miei test che dopo l’unplug l’unica cosa che si può fare con un PDB e la rimozione, dopodiché si riesce a ricollegare; mi sembra strano che venga mantenuto un riferimento a un PDB rimosso… spero di poter fare una prova al riguardo.

PDB Resource Plans

A livello di PDB si definiscono dei piani in maniera analoga a quanto si faceva prima su database non-CDB, ci sono però dei limiti:

  • un PDB resource plan non può avere sottopiani
  • un PDB resource plan può avere un massimo di otto consumer group
  • un PDB resource plan non può avere politiche di schedulazione multi-livello (multiple-level scheduling policy)

Se si collega come PDB un database non-CDB che ha dei resource plan che non rispettano i vincoli sopra Oracle modificherà i piani per farli rientrare nei vincoli.

P.S. 18/06/2018

sono riuscito a fare una prova riguardo al definire un CDB plan con delle direttive che fanno riferimento a un PDB. Ho fatto successivamente l’unplug e poi il drop del PDB ed effettivamente la direttiva che riferisce il pluggable database rimosso rimane.

Copiare, spostare o rinominare un datafile in Oracle

martedì 12 giugno 2018 alle 12:05 | Pubblicato su 12c, Diario, Installation and Configuration | 2 commenti

Breve post promemoria sui concetti che si possono trovare su questa parte dei manuali Oracle. Il motivo per cui lo faccio è che faccio fatica a memorizzare la sintassi dei vari comandi Oracle e con la versione 12.1 c’è la possibilità di copiare o spostare o rinominare i file “online”.  Per supportare questa nuova funzionalità Oracle ha introdotto una nuova sintassi, il comando è:

ALTER DATABASE MOVE DATAFILE ( ‘filename’ | ‘ASM_filename’ | file_number )
[ TO ( ‘filename’ | ‘ASM_filename’ ) ]
[ REUSE ] [ KEEP ]

Il bello di questo comando è che si occupa lui anche di copiare “fisicamente” il file. L’unica restrizione che trovo sul manuale è che il datafile deve essere in modalità “online” altrimenti il comando restituisce errore. Pare quasi una banalità…

Nella modalità pre-12 c’erano due possibili comandi:

  • ALTER DATABASE RENAME FILE…

  • ALTER TABLESPACE <tbsname> RENAME DATAFILE …

 

in entrambi in casi occorre prima portare i datafile offline in qualche modo (nel secondo si può mettere offline solo la tablespace interessata, nel primo si può mettere in stato mount l’intero database, questo nel caso la rinomina o lo spostamento riguardi più file…) in questo caso poi, dopo aver portato in modalità offline i file occorre, prima di eseguire i comandi copiare/spostare/rinominare i file “manualmente”,  il comando si limita ad aggiornare le informazioni registrate sul controlfile.

Real-Time Database Operation Monitoring

giovedì 7 giugno 2018 alle 07:24 | Pubblicato su 11g, 12c, Diario, Performance Tuning | Lascia un commento

Con la versione 11.1 Oracle ha introdotto un nuovo strumento di diagnosi e analisi delle prestazioni chiamato “Real-Time SQL Monitoring”. Si tratta di uno strumento che permette di controllare o monitorare in tempo reale l’esecuzione di query o statement SQL che durano a lungo e consumano risorse in modo significativo. Oracle in determinate condizioni, quando in una sessione gira una query che attiva l’esecuzione in parallelo o consuma più di 5 secondo di tempo CPU o I/O, comincia a registrare le principali statistiche di esecuzione dello statement quali tempo CPU, letture su disco, letture da buffer ecc e le espone tramite due viste chiamate V$SQL_MONITOR e V$SQL_PLAN_MONITOR.  Le statistiche vengono aggiornate ogni secondo e successivamente mantenute per almeno 5 minuti (qui dice così, qui dice un minuto), dopodiché se l’area di memoria in SGA dove risiedono queste informazioni è in esaurimento le statische possono venir cancellate. Si tratta di una evoluzione significativa rispetto alle analisi che si potevano e si possono ancora fare sulle classiche viste V$SQL e V$SQL_PLAN perché ad esempio le statistiche esposte sulle nuove viste sono legate alla singola esecuzione e non cumulative come nelle tradizionali V$SQL e V$SQL_PLAN. Vi è poi la possibilità, tramite procedure del package DBMS_SQLTUNE, di   avere dei report dettagliati e completi sull’esecuzione di una singola query: troviamo piano di esecuzione, valori delle bind variables. Ci sono  statistiche come il numero di righe attese e quello reale che prima era difficile avere. Naturalmente queste informazioni sono accessibili in modo comodo dalle console grafiche Cloud Control e, per 12c,  EM Express.

Con la versione 12.1 il concetto di Real-Time SQL Monitoring è stato esteso ed è diventato “Real-Time Database operation monitoring”. E’ possibile dalla versione 12c avere le stesse informazioni ma non più solo a livello di singolo statement SQL o blocco PL/SQL ma anche per un blocco di istruzioni delimitato temporalmente all’interno di una sessione che è definito appunto Database Operation. Ad esempio è possibile così monitorare complesse procedure ETL o altri tipo di procedure batch per tenere traccia dell’esecuzione ed individuare problemi di prestazioni o controllarne il consumo di risorse. Con oracle 12c è stato introdotto un nuovo package PL/SQL chiamato DBMS_SQL_MONITOR che fornisce le procedure “BEGIN_OPERATION” e “END_OPERATION” che servono appunto a delimitare le istruzioni che compongono la “database operation” che si vuole monitorare e analizzare. Oltre a quelle due procedure nel package si ritrovano le procedure “REPORT_SQL_MONITOR” e “REPORT_SQL_MONITOR_LIST” che si trovano ancora nel package DBMS_SQLTUNE, non so quale sia la differenza.

Posso solo segnalare una mancanza nel report, che da un lato da indicazioni in tempo reale anche sul punto in cui si trova l’esecuzione, dall’altro però non include le “predicate information” che si hanno ad esempio con la funzione “dbms_xplan.display_cursor”. Questo è un peccato perché costringe a fare una analisi con più strumenti per avere tutte le informazioni che possono essere utili ad analizzare le prestazioni di una query.

“Real-Time Database operation monitoring” è una “feature” del pacchetto “Oracle Database Tuning Pack” (per il quale quindi serve apposita licenza).

 

In-Database Archiving e Temporal Validity

lunedì 4 giugno 2018 alle 04:03 | Pubblicato su 12c, Diario | Lascia un commento

Con la versione 12c Oracle ha introdotto due nuove caratteristiche/funzionalità chiamate rispettivamente “In-Database Archiving” e “Temporal Validity”. Entrambe queste nuove funzionalità rientrano nel contesto del cosiddetto “Information Lifetime Management (ILM)” ovvero la gestione del ciclo di vita delle informazioni.

In-Database Archiving

è possibile attivare per una tabella, alla sua creazione o dopo, questa funzionalità con la clausola “row archival”.  Di fatto Oracle aggiunge semplicemente una colonna nascosta chiamata “ORA_ARCHIVE_STATE” che per default viene popolata con il valore ‘0’. Normalmente non succede nulla. Aggiornando esplicitamente il campo ORA_ARCHIVE_STATE con un valore diverso da ‘0’ Oracle durante tutte le DML sulla tabella filtrerà fuori le righe con il valore ORA_ARCHIVE_STATE, rendendole quindi “nascoste”, archiviate. Per cambiare il comportamento si posson usare i seguenti statement:

ALTER SESSION SET ROW ARCHIVAL VISIBILITY=ALL;

ALTER SESSION SET ROW ARCHIVAL VISIBILITY=ACTIVE;

Temporal Validity

similmente a quanto visto sopra è possibile aggiungere alle tabelle una “dimensione temporale”, cioè due campi “timestamp” che vengono gestiti in modo “automatico” da Oracle per filtrare i dati che risultano validi o meno in base a un fattore temporale. Di fatto vengono aggiunti due campi timestamp che rappresentano la data inizio validità e fine validità. Come per “In-Database Archiving” i due campi sono nascosti, c’è anche la possibilità di utilizzare due campi già definiti. La cosa curiosa qui è che per default vengono visualizzati tutti i dati. Per cambiare questo comportamento di può usare la seguente chiamata:

EXEC DBMS_FLASHBACK_ARCHIVE.ENABLE_AT_VALID_TIME(‘CURRENT’);

E’ neccessario dare da utente SYS il privilegio di execute sul package DBMS_FLASHBACK_ARCHIVE. In alternativa occorre usare la sintassi estesa nelle query con la clausola “PERIOD FOR”

Il motivo per cui ho dedicato un post a queste funzionalità non è tanto per la loro utilità quanto per l’ambiguità e scarsa chiarezza del loro supporto. Non mi è chiaro se “In-Database Archiving” e “Temporal Validity” siano sotto poste a limiti di licenza. Non ho trovato traccia sul manuale il che mi porta a credere che siano utilizzabili gia con Standard Edition, ed in effetti io le ho testate su una Standard Edition.

Altra cosa, viene detto che “Temporal Validity” non è supportata su CDB, io ho testato su un PDB dove ha funzionato regolarmente.  Non mi è chiaro che tipo di problema ci possa essere per non supportarla su CDB e mi sembra una grossa limitazione visto che l’architettura Multitenant è stata presentata come una delle novità più rilevanti.

P.S.

per approfondimenti sulle due funzionalità rimando al manuale di riferimento: https://docs.oracle.com/database/121/VLDBG/GUID-BD1D524E-A55F-4CD4-911E-092E596F0D80.htm#VLDBG14153

P.P.S.

spulciando il manuale sulle licenze ho notato che la “feature” “Flashback data archive” è diventanta disponibile su tutte le edizioni, quindi anche su Standard Edition, senza le ottimizzazioni nuove.

Ottimizzatore Oracle 12cR1 note varie

venerdì 25 maggio 2018 alle 25:04 | Pubblicato su 12c, Diario, Performance Tuning | 2 commenti

Gli ultimi due post che ho scritto erano dedicati alle nuove funzionalità introdotte nell’ottimizzatore delle query in oracle 12c (12.1). Ho riassunto in due post relativamente brevi una serie di  funzionalità abbastanza consistente e su quegli argomenti si potrebbe veramente scrivere molto. In realtà è già stato scritto molto, il problema è leggere tutto e riordinare tutte le informazioni. Questo post prende spunto principalmente da una letta che ho dato a un paio di post sul blog di Christian Antognini sull’argomento “Adaptive query optimization”, in particolare questo, questo  e questo.  Volendo ce ne sono anche altri, basta aver tempo di leggerli con attenzione. Io riassumerei, anche leggendo la nota del supporto Oracle “Recommendations for Adaptive Features in Oracle Database 12c Release 1 (Adaptive Features, Adaptive Statistics and 12c SQL Performance) (Doc ID 2312911.1)” , che qualche problemino su Oracle 12.1 lo si può avere con queste nuove caratteristiche e usarle e tenerle sotto controllo con tutti i parametri e le variabili coinvolte non mi sembra affatto facile. In ogni caso per riuscirci è proprio il caso di leggere bene i post di Antognini  e le note del supporto Oracle che indica, seguendo anche gli ulteriori rimandi che si trovano. Forse con la versione 12.2 le cose vanno meglio.

Per quanto mi riguarda ho voluto provare su un database di sviluppo interno a mettere in opera le SQL Plan Baselines mettendo il parametro OPTIMIZER_CAPTURE_SQL_PLAN_BASELINES a TRUE; dopo alcuni giorni però ho avuto alcune segnalazioni da sviluppatori che accedendo al database con SQL Developer avevano problemi di lentezza. Non ho avuto modo di fare una analisi seria, ho solo identificato la causa in una query lanciata da SQLDeveloper che recupera le informazioni sulle colonne delle tabelle, a quanto pare la query  rivista da oracle rimaneva per qualche motivo bloccata. Per risolvere velocemente il prolema ho dovuto reimpostare il parametro OPTIMIZER_CAPTURE_SQL_PLAN_BASELINES a FALSE e siccome non risolveva il problema ho impostato anche OPTIMIZER_USE_SQL_PLAN_BASELINES a FALSE, perché immagino che avendo comunque creato una serie di SQL Plan Baselines l’ottimizzatore continuasse ad usarle, anche non ne creava più di nuove. Essendo la query su viste di sistema (in particolare la ALL_OBJECTS per il cui il solo count usa un piano con 129 righe) non sono riuscito a capirci molto, sono però rimasto un po’ deluso da una funzionalità che dovrebbe avere lo scopo di impedire peggioramenti di prestazioni.

SQL Plan Management e SQL Plan Baselines

venerdì 4 maggio 2018 alle 04:20 | Pubblicato su 12c, Diario, Performance Tuning | Lascia un commento
Tag:

Con la versione 11.1 Oracle ha sostituito il meccanismo chiamato “Stored Outlines” con uno nuovo chiamato “SQL Plan Baselines”. L’obiettivo è rimasto lo stesso, quello di prevenire il peggioramento delle prestazioni dovuto a cambiamenti di sistema, di versione dell’ottimizzatore o altro che possa far cambiare il piano di esecuzione scelto per una query SQL. Evidentemente le stored outlines erano limitate rispetto alle nuove “SQL Plan Baselines” tanto appunto da richiedere una cosa molto più sofisticata che quindi ha preso un nuovo nome. Cercherò di riportare una sintesi di quanto riporta il manuale “Oracle 12.1 Database SQL Tuning Guide”, capitolo 23: Managing SQL Plan Baselines” Posso dire che a suo tempo ho studiato le Stored Outlines ma non sono mai riuscito ad utilizzarle perché non si adattavano alle esigenze che avevo. Le SQL Plan Baselines le ho esplorate da poco e non potrò per ora portare esperienze pratiche, mi limiterò quindi a quanto trovo sul manuale.

SQL Plan Baseline

Una SQL plan baseline (SPB) è un insieme di piani accettati che l’ottimizzatore è autorizzato ad utilizzare per uno statement SQL. Tipicamente i piani vengono introdotti in una SQL plan baseline dopo che è stato verificato che non portano a maggior uso di risorse con conseguente peggioramento delle prestazioni. Questo sistema si affianca al meccanismo dei “SQL Profile”, generati dal SQL Tuning Advisor che però sono un meccanismo reattivo, mentre l’SPB vuole essere un meccanismo proattivo: ha lo scopo di prevenire situazioni di peggioramento di prestazioni. Questo nel quadro di un aggiornamento di versione Oracle, di cambiamento di parametri o di cambiamento dell’hardware sottostante. All’interno di una SQL plan baseline ogni piano è specificato usando un insieme di “outline hints” che lo definiscono completamente. Questo si contrappone a SQL Profiles che piuttosto specificano solo degli hint che cercano di correggere errate stime sui costi del piano e quindi non forzano l’uso di un preciso piano.

SQL Plan Capture

La gestione dei piani di esecuzione tramite le SQL Plan baseline avviene in diversi passi, il primo di questi è la cattura e il salvataggio di tutte le informazioni sui piani di esecuzione di un insieme di statement SQL.  Le informazioni vengono salvate nella “SQL Management Base” (SMB). La cattura dei piani può avvenire in modo automatico tramite il settaggio del parametro OPTIMIZER_CAPTURE_SQL_PLAN_BASELINES a “true” (per default è “false”). Quando il parametro è a true il database crea una SQL plan baseline per ogni statement SQL “ripetibile” eseguito sul database stesso.

La cattura manuale avviene tramite procedure del package PL/SQL DBMS_SPM (DBMS_SPM.LOAD_PLANS_FROM_%) e consiste nel caricamento o da un “SQL tuning set (STS)” o dalla “share SQL area” o da una “tabella di staging” o da una “Stored Outline”. Non posso non riportare una immagine dal manuale che mi sembra molto chiara e completa:

Un piano caricato manualmente viene salvato come “accettato”

SQL Plan Selection

Come si vede dalla figura sopra nella SQL Management Base viene salvato anche la storia di un piano di esecuzione, cioè vengono registrati i cambi di piano

Quando il database esegue un “hard parse” di uno statement SQL l’ottimizzatore genera un piano ottimale per costo. Per default poi l’ottimizzatore cerca un piano che corrisponda nella SQL plan baseline di quello statement. Se non trova una SQL plan baseline per quello statement usa il piano gia generato (crea la SPB e aggiunge il piano come “accepted”), se la trova e il piano generato è gia nella baseline allora lo usa, se non c’è lo aggiunge alla “plan history” marcato come “unaccepted”. In quest’ultimo caso, se esistono piani fissati viene usato quello con il costo minore, se non esistono piani fissati viene usato il piano nella baseline con il costo minore, se non esistono piani riproducibili nella baseline (ad esempio perché nel frattempo è stato rimosso un indice) allora l’ottimizzatore usa il nuovo piano generato. Un piano fissato è un piano accettato e marcato manualmente come preferito.

SQL Plan Evolution

L’evoluzione di un piano è il procedimento che consiste nel verificare che i piani non accettati abbiano pretazioni almeno pari a quelli gia accettati (SQL Plan verification) e in tal caso nella loro aggiunta ai piani accettati della baseline. È possibile configurare il SQL Plan management affinché vengano eseguite tutte le possibili combinazioni dei due passi, cioè si può fare la verifica del piano senza l’aggiunta alla baseline e si può fare l’aggiunta senza fare la verifica. Il package PL/SQL DBMS_SPM fornisce le seguenti procedure:

  • SET_EVOLVE_TASK_PARAMETER
  • CREATE_EVOLVE_TASK
  • EXECUTE_EVOLVE_TASK
  • REPORT_EVOLVE_TASK
  • IMPLEMENT_EVOLVE_TASK
  • ACCEPT_SQL_PLAN_BASELINE

Queste procedure servono per avviare manualmente il processo di evoluzione. Oracle comunque raccomanda di lasciare al task automatico SYS_AUTO_SPM_EVOLVE_TASK (introdotto in Oracle 12c) il compito di fare il lavoro di verifica e accettazione durante la finestra di manutenzione pianificata (normalmente ogni notte)

SQL Management Base (SMB)

Si tratta della struttura logica dove vengono salvate le informazioni relative alle SQL plan baseline, fisicamente stanno nella tablespace SYSAUX. Le componenti sono quattro:

  • SQL statement log
  • SQL plan history (che include le sql plan baseline)
  • SQL profiles
  • SQL patches

SQL statement log

Durante il “parse” dello statement oracle calcola una “firma” (SQL signature)  normalizzando rispetto a maiuscole e minuscole e a spazi il testo, quando avviene la cattura automatica viene cercata la firma all’interno del “SQL statement log” (SQLLOG$), se non c’è l’aggiunge se c’è lo statement si può definire un “repeated SQL statement”

SQL Plan History

si tratta dell’insieme di piani di esecuzione catturati,  si quelli accettati, quindi nelle SQL plan baseline che quelli non accettati. Dalla versione 12c viene salvato il piano intero per tutti i piani, in questo modo non deve essere ricompilato lo statement per rigenerare il piano. I piani possono essere abilitati (enabled), che è il default o no. Nel caso non siano abilitati non vengono utilizzati anche se accettati.

La SQL Plan history può essere analizzata tramite la vista DBA_SQL_PLAN_BASELINES, tramite la procedure DBMS_XPLAN.DISPLAY_SQL_PLAN_BASELINE è possibile vedere il dettaglio di una SQL plan baseline.

 

Oltre al parametro OPTIMIZER_CAPTURE_SQL_PLAN_BASELINES citato prima c’è un’altro parametro OPTIMIZER_USER_SQL_PLAN_BASELINES che per default è impostato a true e fa si che comunque per gli statement che hanno gia SQL plan baseline esistenti vengano aggiunti nuovi piani come non accettati. Se viene impostato a false viene disabilitato completamente l’uso delle baseline.

Sul manuale si trovano ulteriori dettagli ed esempi sulla gestione che non sto qui a riportare per non appesantire troppo il post

Pagina successiva »

Blog su WordPress.com.
Entries e commenti feeds.