vendredi 30 mai 2014

L'importance du LOCAL_LISTENER

J'ai été alerté aujourd'hui par des utilisateurs qui obtenaient l'erreur ci-dessous lorsqu'ils souhaitaient accéder à une base de pré-production:
ERROR:

ORA-01034: ORACLE not available

ORA-27101: shared memory realm does not exist

HPUX-ia64 Error: 2: No such file or directory

ID de processus : 0

ID de session : 0,  Numéro de série : 0

En général je vois cette erreur lorsqu'on tente d'accéder à une base qui est arrêtée. Pourtant pour cette base j'arrivais à me connecter localement sans problème et la base est bien OPEN. Néanmoins, lorsque je me connectais à distance j'obtenais le même message que les utilisateurs:
ihgbdd@vp2186:/projets/ihg/home/ihgbdd $  sqlplus user_test/USER_TEST_#1@PMIP00

SQL*Plus: Release 11.2.0.3.0 Production on Mar. Mai 27 14:42:41 2014

Copyright (c) 1982, 2011, Oracle.  All rights reserved.

ERROR:

ORA-01034: ORACLE not available

ORA-27101: shared memory realm does not exist

HPUX-ia64 Error: 2: No such file or directory

ID de processus : 0

ID de session : 0,  Numéro de série : 0

C'est donc que le problème ne se situait pas au niveau de l'instance elle-même mais plutôt au niveau de la configuration OracleNet.
Une connexion Easy Connect me donnait le même message d'erreur:
ihgbdd@vp2186:/projets/ihg/home/ihgbdd $  sqlplus user_test/USER_TEST_#1@psu459:1550/PMIP00

SQL*Plus: Release 11.2.0.3.0 Production on Mar. Mai 27 14:43:37 2014

Copyright (c) 1982, 2011, Oracle.  All rights reserved.

ERROR:

ORA-01034: ORACLE not available

ORA-27101: shared memory realm does not exist

HPUX-ia64 Error: 2: No such file or directory

ID de processus : 0

ID de session : 0,  Numéro de série : 0

Le TNSPING par contre fonctionnait bien.
ihgbdd@vp2186:/projets/ihg/home/ihgbdd/RUB/RUB1.100.11 $ tnsping pmip00

TNS Ping Utility for Linux: Version 11.2.0.3.0 - Production on 27-MAI  -2014 14:38:52

Copyright (c) 1997, 2011, Oracle.  All rights reserved.

Fichiers de paramètres utilisés :

/soft/oracle/product/client/11.2.0.3/network/admin/sqlnet.ora

Adaptateur TNSNAMES utilisé pour la résolution de l'alias

Tentative de contact de (DESCRIPTION = (ADDRESS_LIST = (ADDRESS = (PROTOCOL = TCP)(HOST = psu459)(PORT = 1550))) (CONNECT_DATA = (SERVICE_NAME = PMIP00)))

OK (20 msec)

J'en concluais donc que le listener était bien démarré et qu'il écoutait sur le port 1550 qui (vous l'aurez sans doute noter) ne correspond pas au numéro de port par défaut.

A ce moment là me sont revenus mes souvenirs des cours d'admin Oracle DBA1: Pour que l'enregistrement dynamique d'une instance auprès du listener se fasse il faut 
- soit utiliser le nom et le port du listener par défaut 
- soit (si le nom ou le port ne sont pas ceux par défaut) définir une entrée TNS comme valeur du paramètre LOCAL_LISTENER.
Je suis donc allé vérifier ce que me donnait la valeur de ce paramètre pour ma base en question:
SQL> sho parameter listener

NAME                                 TYPE        VALUE

------------------------------------ ----------- ------------------------------

listener_networks                    string

local_listener                       string

remote_listener                      string

Comme je me doutais, le paramètre n'était pas setté.

Voilà donc la cause de mon problème. Sans cette indication l'instance ne sait pas auprès de quel listener il doit s'enregistrer ni comment le contacter. Ce paramètre est censé lui indiquer le nom du listener ainsi que le numéro du port écouté par ce listener.

Comme j'ai un fichier TNSNAMES.ora sur mon serveur de données j'ai pu lui indiquer directement le nom de l'alias TNS pour la base en question :
SQL>  alter system set local_listener='PMIP00';

System altered.

Si je n'avais pas de fichier TNSNAMES.ora il aurait fallu que j'indique comme valeur du paramètre la partie ADDRESS de l'entrée TNS: (ADDRESS = (PROTOCOL = TCP)(HOST = psu459)(PORT = 1550)).

Une fois le paramètre setté l'accès à la base peut s'effectuer sans problème
hgbdd@vp2186:/projets/ihg/home/ihgbdd $ sqlplus user_test/USER_TEST_#1@PMIP00

SQL*Plus: Release 11.2.0.3.0 Production on Mar. Mai 27 15:19:25 2014

Copyright (c) 1982, 2011, Oracle.  All rights reserved.

Connecté à :

Oracle Database 11g Enterprise Edition Release 11.2.0.3.0 - 64bit Production

With the Partitioning, OLAP, Data Mining and Real Application Testing options

SQL>


CONCLUSION:
Si vous n'utilisez pas les valeurs par défaut pour un LISTENER il faut bien penser à setter le paramètre LOCAL_LISTENER sinon l'enregistrement automatique de votre instance auprès du LISTENER ne pourra se faire et vos connexions distantes à la base ne fonctionneront pas.

dimanche 2 mars 2014

Quand le CBO choisit l'index non-unique à la place de l'index unique

J'ai constaté cette semaine sur une des bases sur lesquelles je travaille que la requête suivante s'est mis à bien tourner du jour au lendemain:
DELETE FROM SCDAT.TRANSRPDATES WHERE TRANSRPDATES.TRANSIK = :v1  AND TRANSRPDATES.ACCIK = :v2;

On peut constater cela en regardant les stats au niveau de l'AWR:
SNAP_ID   NODE BEGIN_INTERVAL_TIME            SQL_ID        PLAN_HASH_VALUE        EXECS    AVG_ETIME        AVG_LIO    AVG_PIO     AVG_ROWS

---------- ------ ------------------------------ ------------- --------------- ------------ ------------ -------------- ---------- ------------

        55      1 20/02/14 17:00:25,756          9ytthuuffcgy5      2252980867        1,263        1.271       15,226.1 ,406967538            1

        56      1 20/02/14 18:00:41,362          9ytthuuffcgy5                        2,915        1.238       15,213.3 ,208919383            1

        57      1 20/02/14 19:00:54,602          9ytthuuffcgy5                        2,822        1.258       15,195.6 ,242026931            1

        58      1 20/02/14 20:00:07,686          9ytthuuffcgy5                        2,895        1.248       15,178.0  ,12193437            1

        59      1 20/02/14 21:00:21,148          9ytthuuffcgy5                        2,918        1.242       15,160.2 ,257710761            1

        60      1 20/02/14 22:00:36,358          9ytthuuffcgy5                        2,888        1.248       15,142.3 ,233379501            1

        61      1 20/02/14 23:00:51,105          9ytthuuffcgy5                        2,881        1.232       15,124.6 ,144741409            1

        62      1 21/02/14 00:00:04,016          9ytthuuffcgy5                        2,932        1.231       15,106.6 ,224079127            1

        63      1 21/02/14 01:00:17,342          9ytthuuffcgy5                        2,949        1.224       15,084.1 ,143438454            1

        64      1 21/02/14 02:00:30,694          9ytthuuffcgy5                        2,952        1.223       15,070.2 ,103319783            1

        65      1 21/02/14 03:00:43,780          9ytthuuffcgy5                        2,959        1.220       15,051.9 ,100033795            1

        66      1 21/02/14 04:00:56,915          9ytthuuffcgy5                        2,924        1.214       15,033.7 ,157660739            1

        67      1 21/02/14 05:00:09,943          9ytthuuffcgy5                        2,971        1.216       15,015.5 ,100302928            1

        68      1 21/02/14 06:00:23,053          9ytthuuffcgy5                        2,989        1.208       14,997.1 ,096353295            1

        69      1 21/02/14 07:00:36,366          9ytthuuffcgy5                        2,991        1.207       14,978.6 ,235372785            1

        70      1 21/02/14 08:00:49,468          9ytthuuffcgy5                        2,943        1.207       14,960.2 ,285762827            1

        71      1 21/02/14 09:00:02,396          9ytthuuffcgy5                        3,001        1.203       14,941.7 ,154948351            1

        72      1 21/02/14 10:00:15,559          9ytthuuffcgy5                        2,803        1.201       14,920.2 ,172315376            1

       148      1 24/02/14 17:00:54,112          9ytthuuffcgy5      2250495236       63,142         .001           70.2 ,077428653            1
On voit qu'on a eu un switch de plan le 24/02/2014. Avant cette date le plan utilisé générait environ 15000 logical reads par exécution alors que le 24/02/14 le nouveau plan ne générait plus que 70 LR par exécution.

Voyons à quoi ressemble ces 2 plans:
Plan hash value: 2250495236

-----------------------------------------------------------------------------------------------
| Id  | Operation                    | Name           | Rows  | Bytes | Cost (%CPU)| Time     |
-----------------------------------------------------------------------------------------------
|   0 | DELETE STATEMENT             |                |       |       |     3 (100)|          |
|   1 |  DELETE                      | TRANSRPDATES   |       |       |            |          |
|   2 |   TABLE ACCESS BY INDEX ROWID| TRANSRPDATES   |     1 |    40 |     3   (0)| 00:00:01 |
|   3 |    INDEX UNIQUE SCAN         | P_TRANSRPDATES |     1 |       |     2   (0)| 00:00:01 |
-----------------------------------------------------------------------------------------------

Plan hash value: 2252980867

-----------------------------------------------------------------------------------------------------
| Id  | Operation                    | Name                 | Rows  | Bytes | Cost (%CPU)| Time     |
-----------------------------------------------------------------------------------------------------
|   0 | DELETE STATEMENT             |                      |       |       |     2 (100)|          |
|   1 |  DELETE                      | TRANSRPDATES         |       |       |            |          |
|   2 |   TABLE ACCESS BY INDEX ROWID| TRANSRPDATES         |     1 |    92 |     2   (0)| 00:00:01 |
|   3 |    INDEX RANGE SCAN          | R_TRANSRPDATES_ACCIK |     1 |       |     2   (0)| 00:00:01 |
-----------------------------------------------------------------------------------------------------
On remarque que le bon plan consiste en une opération INDEX UNIQUE SCAN alors que le mauvais correspond à une opération INDEX RANGE SCAN. En gros, la requête s'exécute bien lorsque l'index unique P_TRANSRPDATES est utilisé, et s'exécute nettement moins bien lorsque l'index non-unique R_TRANSRPDATES_ACCIK est utilisé.
L'index unique est un index composite sur les 2 colonnes impliquées dans la requête alors que l'index non-unique est un index sur la colonne ACCIK uniquement.
La question légitime qu'on se pose c'est "pourquoi le CBO a décidé d'utiliser l'index non-unique avant la date du 24/02 alors que l'index unique existait bien?".
Pour répondre à cette question j'ai fait un comparatif des stats entre la date du jour et la date du 21/02 en utilisant la procédure DIFF_TABLE_STATS_IN_HISTORY du package DBMS_STATS:
SELECT *
FROM table(dbms_stats.diff_table_stats_in_history(
             ownname      => 'SCDAT',
             tabname      => 'TRANSRPDATES',
             time1        => systimestamp - to_dsinterval('5 00:00:00'),
             time2        => NULL,
             pctthreshold => 10));
  
###############################################################################


STATISTICS DIFFERENCE REPORT FOR:
.................................


TABLE         : TRANSRPDATES
OWNER         : SCDAT
SOURCE A      : Statistics as of 21/02/14 09:19:30,901433 +01:00
SOURCE B      : Current Statistics in dictionary
PCTTHRESHOLD  : 10
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~


TABLE / (SUB)PARTITION STATISTICS DIFFERENCE:
.............................................


OBJECTNAME                  TYP SRC ROWS       BLOCKS     ROWLEN     SAMPSIZE  
...............................................................................


TRANSRPDATES                T   A   0          33172      0          0         
                                B   63293      33172      40         63293     
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~


COLUMN STATISTICS DIFFERENCE:
.............................


COLUMN_NAME     SRC NDV     DENSITY    HIST NULLS   LEN  MIN   MAX   SAMPSIZ
...............................................................................


ACCIK           A   0       0          NO   0       0      0      
                B   1       ,000008023 YES  0       4    C2020 C2020 5415   
RPDEFIK         A   0       0          NO   0       0      0      
                B   1       ,000008023 YES  0       2    80    80    5415   
TRANSIK         A   0       0          NO   0       0      0      
                B   63048   ,000016047 YES  0       6    C4043 C4054 5415   
~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~


INDEX / (SUB)PARTITION STATISTICS DIFFERENCE:
.............................................


OBJECTNAME      TYP SRC ROWS    LEAFBLK DISTKEY LF/KY DB/KY CLF     LVL SAMPSIZ
...............................................................................




                              INDEX: P_TRANSRPDATES
                              .....................


P_TRANSRPDATES  I   A   0       0       0       0     0     0       2   0      
                    B   63293   763     63293   1     1     31603   2   63293  


                           INDEX: R_TRANSRPDATES_ACCIK
                           ...........................


R_TRANSRPDATES_ I   A   0       0       0       0     0     0       2   0      
                    B   63293   223     1       223   580   580     2   63293  


                          INDEX: R_TRANSRPDATES_RPDEFIK
                          .............................


R_TRANSRPDATES_ I   A   0       0       0       0     0     0       2   0      
                    B   63293   214     1       214   580   580     2   63293  
###############################################################################
On constate qu'en réalité à la date du 21 les stats étaient à zéro c'est à dire que les stats avaient été calculées alors que la table était vide.
Il ne faut pas confondre ici les stats à zéro et les stats à NULL. Les stats à NULL signifient une absence de stats et donc dans ce cas le Dynamic Sampling peut être activé selon la valeur du paramètre OPTIMIZER_DYNAMIC_SAMPLING.
Dans notre cas les stats étaient à zéro avant le 24 ce qui veut dire que le CBO estimait qu'il n'y avait pas de données dans la table alors qu'en réalité bien sûr il y'en avait.

L'idée ensuite est de pouvoir reproduire le mauvais plan en activant une trace 10053 lorsque les stats sont à zéro.
J'ai pour cela restauré les stats à la date du 21/02:
exec DBMS_STATS.RESTORE_TABLE_STATS (ownname=>'SCDAT', tabname=>'TRANSRPDATES', as_of_timestamp=>TO_DATE('21/02/2014 09:19:30', 'DD/MM/YYYY HH24:MI:SS'));

@10053
explain plan for
DELETE FROM SCDAT.TRANSRPDATES WHERE TRANSRPDATES.TRANSIK = :v1  AND TRANSRPDATES.ACCIK = :v2;
@dis_10053

Plan hash value: 2252980867

-----------------------------------------------------------------------------------------------------
| Id  | Operation                    | Name                 | Rows  | Bytes | Cost (%CPU)| Time     |
-----------------------------------------------------------------------------------------------------
|   0 | DELETE STATEMENT             |                      |     1 |    92 |     2   (0)| 00:00:01 |
|   1 |  DELETE                      | TRANSRPDATES         |       |       |            |          |
|*  2 |   TABLE ACCESS BY INDEX ROWID| TRANSRPDATES         |     1 |    92 |     2   (0)| 00:00:01 |
|*  3 |    INDEX RANGE SCAN          | R_TRANSRPDATES_ACCIK |     1 |       |     2   (0)| 00:00:01 |
-----------------------------------------------------------------------------------------------------

Predicate Information (identified by operation id):
---------------------------------------------------

   2 - filter("TRANSRPDATES"."TRANSIK"=TO_NUMBER(:V1))
   3 - access("TRANSRPDATES"."ACCIK"=TO_NUMBER(:V2))

BINGO!! L'optimiseur a choisi l'index non-unique.
Jettons un oeil à la trace du CBO:
***************************************
BASE STATISTICAL INFORMATION
***********************
Table Stats::
  Table: TRANSRPDATES  Alias: TRANSRPDATES
    #Rows: 0  #Blks:  33172  AvgRowLen:  0.00  ChainCnt:  0.00
Index Stats::
  Index: P_TRANSRPDATES  Col#: 1 2
    LVLS: 2  #LB: 0  #DK: 0  LB/K: 0.00  DB/K: 0.00  CLUF: 0.00
  Index: R_TRANSRPDATES_ACCIK  Col#: 2
    LVLS: 2  #LB: 0  #DK: 0  LB/K: 0.00  DB/K: 0.00  CLUF: 0.00
  Index: R_TRANSRPDATES_RPDEFIK  Col#: 6
    LVLS: 2  #LB: 0  #DK: 0  LB/K: 0.00  DB/K: 0.00  CLUF: 0.00
***************************************
1-ROW TABLES:  TRANSRPDATES[TRANSRPDATES]#0
Access path analysis for TRANSRPDATES
***************************************
SINGLE TABLE ACCESS PATH 
  Single Table Cardinality Estimation for TRANSRPDATES[TRANSRPDATES] 
  Column (#1): TRANSIK(
    AvgLen: 22 NDV: 0 Nulls: 0 Density: 0.000000 Min: 0 Max: 0
  Column (#2): ACCIK(
    AvgLen: 22 NDV: 0 Nulls: 0 Density: 0.000000 Min: 0 Max: 0
  ColGroup (#1, Index) P_TRANSRPDATES
    Col#: 1 2    CorStregth: 0.00
  ColGroup Usage:: PredCnt: 2  Matches Full: #1  Partial:  Sel: 1.0000
  Table: TRANSRPDATES  Alias: TRANSRPDATES
    Card: Original: 0.000000  Rounded: 1  Computed: 0.00  Non Adjusted: 0.00
  Access Path: TableScan
    Cost:  9540.36  Resp: 9540.36  Degree: 0
      Cost_io: 9479.00  Cost_cpu: 236232408
      Resp_io: 9479.00  Resp_cpu: 236232408
  Access Path: index (UniqueScan)
    Index: P_TRANSRPDATES
    resc_io: 2.00  resc_cpu: 15583
    ix_sel: 0.000000  ix_sel_with_filters: 0.000000 
    Cost: 2.00  Resp: 2.00  Degree: 1
  ColGroup Usage:: PredCnt: 2  Matches Full: #1  Partial:  Sel: 1.0000
  ColGroup Usage:: PredCnt: 2  Matches Full: #1  Partial:  Sel: 1.0000
  Access Path: index (AllEqUnique)
    Index: P_TRANSRPDATES
    resc_io: 2.00  resc_cpu: 15583
    ix_sel: 1.000000  ix_sel_with_filters: 1.000000 
    Cost: 2.00  Resp: 2.00  Degree: 1
  Access Path: index (AllEqRange)
    Index: R_TRANSRPDATES_ACCIK
    resc_io: 2.00  resc_cpu: 14443
    ix_sel: 0.010000  ix_sel_with_filters: 0.010000 
    Cost: 2.00  Resp: 2.00  Degree: 1
  Best:: AccessPath: IndexRange
  Index: R_TRANSRPDATES_ACCIK
         Cost: 2.00  Degree: 1  Resp: 2.00  Card: 0.00  Bytes: 0

Le CBO calcule le COST pour chaque index et on voit que le COST est à 2 pour chacun d'eux.
Logiquement on s'imagine qu'il prendrait l'index unique mais en fait pas du tout...il prend l'index non unique.
Mon sentiment au départ était de dire que le CBO choisissait l'index qui était potentiellement le plus petit c'est à dire celui qui contenait le moins de clés d'index. 
En effet dans mon cas l'index non unique est définie sur seulement une seule colonne alors que l'index unique est définie sur 2 colonnes.

Pour en savoir plus j'ai décidé d'ouvrir une discussion sur le forum d'OTN et j'ai envoyé un mail au spécialiste du CBO Jonathan LEWIS pour l'inviter à y répondre.

Bien sûr Jonathan a répondu et voici sa réponse:
For a tie in the cost of the index: at one time the choice was alphabetical by name but a fix came in some time in 10g to select the index with the larger number of distinct keys.

At present is seems to be:

If all indexes are unique and the costs are the same then tie-break on number of distinct keys, if those match then alphabetical.
If all indexes are non-unique and the costs are the same then tie-break on number of distinct keys, if those match then alphabetical.
If there is a mixture of unique and non-unique then NON-unique are preferred
Donc, selon Jonathan, lorsqu'on a un COST identique et qu'on est en présence à la fois d'un index UNIQUE et d'un index non-unique, le CBO choisirait automatiquement l'index non-unique.
Je trouve ça complètement illogique surtout lorsque l'on sait que les index range scan par rapport aux index unique scan entrainent un surcoût lié notamment au nombre de latchs plus importants générés et au fait qu'en cas d'index range scan oracle doit checker l'entrée d'index suivant (juste au cas où) car cette opération par définition peut retourner plusieurs lignes alors qu'avec un index unqiue scan Oracle est sûr de n'avoir au plus qu'une seule entrée d'index correspondante.

Je vous invite à lire l'article de Richard FOOTE sur ce sujet.

Pour en revenir à mon cas et pour confirmer mon hypothèse de départ sur le nombre de colonnes, j'ai (sur les conseils de mon ami Guy-Georges DROGBA) généré de nouveau le plan après avoir cette fois désactivé le CPU costing:
exec DBMS_STATS.RESTORE_TABLE_STATS (ownname=>'SCDAT', tabname=>'TRANSRPDATES', as_of_timestamp=>TO_DATE('21/02/2014 09:19:30', 'DD/MM/YYYY HH24:MI:SS'));

alter session set "_optimizer_cost_model"=io;

@10053

explain plan for DELETE FROM SCDAT.TRANSRPDATES WHERE TRANSRPDATES.TRANSIK = :v1  AND TRANSRPDATES.ACCIK = :v2;

@dis_10053

@plan

Plan hash value: 2250495236

-------------------------------------------------------------------------------

| Id  | Operation                    | Name           | Rows  | Bytes | Cost  |

-------------------------------------------------------------------------------

|   0 | DELETE STATEMENT             |                |     1 |    92 |     2 |

|   1 |  DELETE                      | TRANSRPDATES   |       |       |       |

|   2 |   TABLE ACCESS BY INDEX ROWID| TRANSRPDATES   |     1 |    92 |     2 |

|*  3 |    INDEX UNIQUE SCAN         | P_TRANSRPDATES |     1 |       |     2 |

-------------------------------------------------------------------------------

Predicate Information (identified by operation id):

---------------------------------------------------


   3 - access("TRANSRPDATES"."TRANSIK"=TO_NUMBER(:V1) AND

              "TRANSRPDATES"."ACCIK"=TO_NUMBER(:V2))



alter session set "_optimizer_cost_model"=cpu;

explain plan for DELETE FROM SCDAT.TRANSRPDATES WHERE TRANSRPDATES.TRANSIK = :v1  AND TRANSRPDATES.ACCIK = :v2;

@plan

Plan hash value: 2252980867

-----------------------------------------------------------------------------------------------------

| Id  | Operation                    | Name                 | Rows  | Bytes | Cost (%CPU)| Time     |

-----------------------------------------------------------------------------------------------------

|   0 | DELETE STATEMENT             |                      |     1 |    92 |     2   (0)| 00:00:01 |

|   1 |  DELETE                      | TRANSRPDATES         |       |       |            |          |

|*  2 |   TABLE ACCESS BY INDEX ROWID| TRANSRPDATES         |     1 |    92 |     2   (0)| 00:00:01 |

|*  3 |    INDEX RANGE SCAN          | R_TRANSRPDATES_ACCIK |     1 |       |     2   (0)| 00:00:01 |

-----------------------------------------------------------------------------------------------------


Predicate Information (identified by operation id):

---------------------------------------------------

   2 - filter("TRANSRPDATES"."TRANSIK"=TO_NUMBER(:V1))

   3 - access("TRANSRPDATES"."ACCIK"=TO_NUMBER(:V2))


exec DBMS_STATS.RESTORE_TABLE_STATS (ownname=>'SCDAT', tabname=>'TRANSRPDATES', as_of_timestamp=>systimestamp-1, force=> TRUE);

Ah! cette fois lorsque le CPU costing est désactivé c'est bien l'index unique qui est pris en compte. Jonathan Lewis dans la discussion que j'ai ouverte sur OTN disait qu'il était possible que cette fois le choix ait été effectué en prenant en compte l'ordre alphabétique.
Vu qu'alphabétiquement P_TRANSRPDATES soit avant R_TRANSRPDATES_ACCIK on peut effectivement penser cela.

J'ai donc refait le test en renommant l'index non unique en A_TRANSRPDATES_ACCIK pour qu'il soit alphabétiquement avant l'index unique:
exec DBMS_STATS.RESTORE_TABLE_STATS (ownname=>'SCDAT', tabname=>'TRANSRPDATES', as_of_timestamp=>TO_DATE('21/02/2014 09:19:30', 'DD/MM/YYYY HH24:MI:SS'));
alter session set "_optimizer_cost_model"=io;
alter index SCDAT.R_TRANSRPDATES_ACCIK rename to A_TRANSRPDATES_ACCIK;
@10053
explain plan for DELETE FROM SCDAT.TRANSRPDATES WHERE TRANSRPDATES.TRANSIK = :v1  AND TRANSRPDATES.ACCIK = :v2;
@dis_10053
@plan


Plan hash value: 2250495236


-------------------------------------------------------------------------------
| Id  | Operation                    | Name           | Rows  | Bytes | Cost  |
-------------------------------------------------------------------------------
|   0 | DELETE STATEMENT             |                |     1 |    92 |     2 |
|   1 |  DELETE                      | TRANSRPDATES   |       |       |       |
|   2 |   TABLE ACCESS BY INDEX ROWID| TRANSRPDATES   |     1 |    92 |     2 |
|*  3 |    INDEX UNIQUE SCAN         | P_TRANSRPDATES |     1 |       |     2 |
-------------------------------------------------------------------------------


Predicate Information (identified by operation id):
---------------------------------------------------


   3 - access("TRANSRPDATES"."TRANSIK"=TO_NUMBER(:V1) AND
              "TRANSRPDATES"."ACCIK"=TO_NUMBER(:V2))


Note
-----
   - cpu costing is off (consider enabling it)


alter session set "_optimizer_cost_model"=cpu;
explain plan for DELETE FROM SCDAT.TRANSRPDATES WHERE TRANSRPDATES.TRANSIK = :v1  AND TRANSRPDATES.ACCIK = :v2;
@plan


Plan hash value: 1992853963


-----------------------------------------------------------------------------------------------------
| Id  | Operation                    | Name                 | Rows  | Bytes | Cost (%CPU)| Time     |
-----------------------------------------------------------------------------------------------------
|   0 | DELETE STATEMENT             |                      |     1 |    92 |     2   (0)| 00:00:01 |
|   1 |  DELETE                      | TRANSRPDATES         |       |       |            |          |
|*  2 |   TABLE ACCESS BY INDEX ROWID| TRANSRPDATES         |     1 |    92 |     2   (0)| 00:00:01 |
|*  3 |    INDEX RANGE SCAN          | A_TRANSRPDATES_ACCIK |     1 |       |     2   (0)| 00:00:01 |
-----------------------------------------------------------------------------------------------------


Predicate Information (identified by operation id):
---------------------------------------------------


   2 - filter("TRANSRPDATES"."TRANSIK"=TO_NUMBER(:V1))
   3 - access("TRANSRPDATES"."ACCIK"=TO_NUMBER(:V2))


   
alter index SCDAT.A_TRANSRPDATES_ACCIK rename to R_TRANSRPDATES_ACCIK;
exec DBMS_STATS.RESTORE_TABLE_STATS (ownname=>'SCDAT', tabname=>'TRANSRPDATES', as_of_timestamp=>systimestamp-1, force=> TRUE);
C'est toujours l'index unique qui est pris en compte. Donc on peut dire que dans mon cas lorsque le CPU costing est désactivé c'est l'index unique qui est pris en compte alors que si le CPU costing est activé c'est l'index non unique qui est pris en compte.
Et la raison c'est surement qu'il est moins couteux d'un point de vue CPU de parcourir un index sur une seule colonne (mon index non-unique) qu'un index sur 2 colonnes (mon index unique).

J'ai écrit cet article pour montrer que l'optimiseur d'Oracle a des secrets au niveau de son algorithme que même le grand Jonathan LEWIS n'a pas encore totalement percé car le comportement du CBO varie énormément selon les paramètres, les modèles de données et les requêtes impliquées.
Néanmoins, la vraie conclusion de cette petite expérience c'est qu'il faut absolument se méfier des stats calculés sur des tables vides pour éviter des mésaventures qui peuvent s'avérer extrêmement coûteuses dans un environnement de production.

lundi 23 décembre 2013

Les statistiques étendues (2)

Il y'a un peu plus de 2 ans déjà j'avais rédigé un article décrivant le principe des statistiques étendues en 11g.
J'avais tenté d'expliquer comment les stats étendues pouvaient aider le CBO à estimer de meilleures cardinalités lorsqu'on avait des colonnes corrélées ou des expressions dans nos prédicats.

Ces derniers jours j'ai justement eu affaire à 2 problèmes de performances (sur des bases 11g) liés à l'absence de stats sur des colonnes corrélées et des fonctions appliquées à certaines colonnes.

Je me suis donc dit que ces 2 cas réels pouvaient constituer un second article permettant d'illustrer l'article que j'avais écrit.


Cas 1: Statistiques étendues sur une expression

Le premier problème concernait la requête suivante:
SELECT
   to_char(SYSDATE, 'YYYYMMDD') AS DATE_EXTRACTION,
   RBQ.RBQ_NUM_CONTR AS CPP_NUM_CONTR,
   RBQ.RBQ_NUM_CONTR,
   CB.CBQ_CD_ETABLISSEMENT,
   CB.CBQ_CD_GUICHET,
   CB.CBQ_CLE_COMPTE,
   RBQ.RBQ_CD_NAT_COORD_BQE,
   Substr(CB.CBQ_NUM_COMPTE,1,7) AS CBQ_NUM_COMPTE1,
   Substr(CB.CBQ_NUM_COMPTE,8,3) AS CBQ_NUM_COMPTE2,
   Substr(CB.CBQ_NUM_COMPTE,11,1) AS CBQ_NUM_COMPTE3 FROM
   TDO_D_ASSIN_COORD_BQE      CB,
   TDO_D_ASSIN_ROLE_COORD_BQE RBQ,
   TDO_D_ASSIN_CONTR_ASSU     CON,
   TDO_R_PDV_DISTRIB          PDVD
WHERE
   RBQ.RBQ_NUM_CONTR in  (select NUM_CONTRAT from    GIC_DEM_LISTE_CONTRATS  )
   AND substr(RBQ.RBQ_NUM_CONTR, 1, 3) <> '398'
   AND substr(RBQ.RBQ_NUM_CONTR, 1, 3) <> '399'
   AND substr(RBQ.RBQ_NUM_CONTR, 1, 3) <> '400'
   AND substr(RBQ.RBQ_NUM_CONTR, 1, 3) <> '412'
   --
   AND CB.CBQ_ID_PERSONNE = RBQ.RBQ_ID_PERSONNE
   AND CB.CBQ_ID_TEC_COORD_BQE = RBQ.RBQ_ID_TEC_COORD_BQE
   --
   AND CON_NUM_CONTR(+) = RBQ.RBQ_NUM_CONTR
   AND (      CON.CON_CD_PVE_SOUS IS NULL
            OR (       PDVD_CD_POINT_VENTE = CON.CON_CD_PVE_SOUS
                  AND PDVD_CD_DISTRIB = '400000'
                  )
            );
Cette requête existait depuis longtemps mais, suite à l'implémentation du partitioning sur certaines tables, elle s'était mise à tourner pendant des dizaines d'heures.
Même si la clause de partitioning n'était effectivement pas indiquée dans la clause WHERE de la requête (et ça c'est pas bien!!!) le client voulait quand même que cette requête puisse s'exécuter correctement en attendant que la correction soit apportée.
Dans la requête on peut noter les expressions suivantes:
substr(RBQ.RBQ_NUM_CONTR, 1, 3) <> '398'    AND substr(RBQ.RBQ_NUM_CONTR, 1, 3) <> '399'    AND substr(RBQ.RBQ_NUM_CONTR, 1, 3) <> '400'    AND substr(RBQ.RBQ_NUM_CONTR, 1, 3) <> '412'
En fait le critère de partitionnement est un champ qui correspond justement aux 3 premiers caractères du champ RBQ_NUM_CONTR manipulé dans les clauses ci-dessus.
Jetons un œil au plan d’exécution de la requête(la requête n'ayant pas pu aboutir j'ai uniquement le plan sans les stats d’exécutions):
----------------------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                               | Name                         | Rows  | Bytes | Cost (%CPU)| Time     | Pstart| Pstop |
----------------------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                        |                              |    89 | 12460 | 31322   (8)| 00:01:50 |       |       |
|   1 |  NESTED LOOPS                           |                              |    89 | 12460 | 31322   (8)| 00:01:50 |       |       |
|   2 |   NESTED LOOPS                          |                              |    89 | 12460 | 31322   (8)| 00:01:50 |       |       |
|*  3 |    HASH JOIN                            |                              |    89 |  7565 | 31056   (8)| 00:01:49 |       |       |
|   4 |     NESTED LOOPS                        |                              |    89 |  6675 | 31033   (8)| 00:01:49 |       |       |
|   5 |      NESTED LOOPS OUTER                 |                              |   115 |  7015 | 26689   (8)| 00:01:34 |       |       |
|   6 |       PARTITION LIST ALL                |                              |   115 |  5060 | 26459   (8)| 00:01:33 |     1 |   227 |
|*  7 |        TABLE ACCESS FULL                | TDO_D_ASSIN_ROLE_COORD_BQE   |   115 |  5060 | 26459   (8)| 00:01:33 |     1 |   227 |
|   8 |       TABLE ACCESS BY GLOBAL INDEX ROWID| TDO_D_ASSIN_CONTR_ASSU       |     1 |    17 |     2   (0)| 00:00:01 | ROWID | ROWID |
|*  9 |        INDEX UNIQUE SCAN                | PK_ASSIN_CON_NUM_CONTR       |     1 |       |     1   (0)| 00:00:01 |       |       |
|* 10 |      INDEX FAST FULL SCAN               | UK_TDO_R_PDV_DISTRIB         |     1 |    14 |    38   (6)| 00:00:01 |       |       |
|  11 |     INDEX FAST FULL SCAN                | PK_GIC_DEM_LISTE_CONTRATS    | 20000 |   195K|    22   (5)| 00:00:01 |       |       |
|* 12 |    INDEX RANGE SCAN                     | PK_ASSIN_CBQ_TEC_COORD_PERSO |     1 |       |     2   (0)| 00:00:01 |       |       |
|  13 |   TABLE ACCESS BY INDEX ROWID           | TDO_D_ASSIN_COORD_BQE        |     1 |    55 |     3   (0)| 00:00:01 |       |       |
----------------------------------------------------------------------------------------------------------------------------------------


Predicate Information (identified by operation id):
---------------------------------------------------


   3 - access("RBQ"."RBQ_NUM_CONTR"="NUM_CONTRAT")
   7 - filter(SUBSTR("RBQ"."RBQ_NUM_CONTR",1,3)<>'398' AND SUBSTR("RBQ"."RBQ_NUM_CONTR",1,3)<>'399' AND
              SUBSTR("RBQ"."RBQ_NUM_CONTR",1,3)<>'400' AND SUBSTR("RBQ"."RBQ_NUM_CONTR",1,3)<>'412')
   9 - access("CON_NUM_CONTR"(+)="RBQ"."RBQ_NUM_CONTR")
  10 - filter("CON"."CON_CD_PVE_SOUS" IS NULL OR "PDVD_CD_POINT_VENTE"="CON"."CON_CD_PVE_SOUS" AND "PDVD_CD_DISTRIB"='400000')
  12 - access("CB"."CBQ_ID_PERSONNE"="RBQ"."RBQ_ID_PERSONNE" AND "CB"."CBQ_ID_TEC_COORD_BQE"="RBQ"."RBQ_ID_TEC_COORD_BQE")
On voit que le CBO a choisi d'attaquer en premier lieu la table TDO_D_ASSIN_ROLE_COORD_BQE en estimant que celle-ci retournerait (après avoir appliqué les critères avec la fonction SUBSTR) seulement 115 lignes .
Si on effectue un comptage sur cette table on se rend compte que le nombre de lignes retournées est en réalité de 18 millions:
select count(*) from TDO_D_ASSIN_ROLE_COORD_BQE RBQ
where substr(RBQ.RBQ_NUM_CONTR, 1, 3) <> '398'
AND substr(RBQ.RBQ_NUM_CONTR, 1, 3) <> '399'
AND substr(RBQ.RBQ_NUM_CONTR, 1, 3) <> '400'
AND substr(RBQ.RBQ_NUM_CONTR, 1, 3) <> '412';
   
  COUNT(*)
----------
  18449114
  
-------------------------------------------------------------------------------------------------------------------
| Id  | Operation             | Name                   | Starts | E-Rows | A-Rows |   A-Time   | Buffers | Reads  |
-------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT      |                        |      1 |        |      1 |00:00:48.70 |   31949 |  31825 |
|   1 |  SORT AGGREGATE       |                        |      1 |      1 |      1 |00:00:48.70 |   31949 |  31825 |
|*  2 |   INDEX FAST FULL SCAN| CK_ASSIN_RBQ_NUM_CONTR |      1 |    115 |     18M|00:00:44.48 |   31949 |  31825 |
-------------------------------------------------------------------------------------------------------------------


Predicate Information (identified by operation id):
---------------------------------------------------


   2 - filter((SUBSTR("RBQ"."RBQ_NUM_CONTR",1,3)<>'398' AND SUBSTR("RBQ"."RBQ_NUM_CONTR",1,3)<>'399' AND
              SUBSTR("RBQ"."RBQ_NUM_CONTR",1,3)<>'400' AND SUBSTR("RBQ"."RBQ_NUM_CONTR",1,3)<>'412'))
Puisque le CBO est incapable d'estimer une sélectivité correcte lorsqu'une fonction est appliquée à une colonne, d'où diable sort-il ces 115 lignes?
D'après le chapitre 5 du livre de Jonathan Lewis, l'optimiseur appliquerait une sélectivité de 5% pour chaque prédicat (avec expression) de type NOT EQUAL.
Vu qu'on a 4 prédicats on se retrouve au final avec une sélectivité de 0.05*0.05*0.05*0.05 = 0.00000625
La colonne NUM_ROWS de DBA_TABLES pour la table TDO_D_ASSIN_ROLE_COORD_BQE renvoyant 18 449 114 lignes, si on y applique la sélectivité précédente on obtient bien 115 lignes:
18449114*0.00000625 = 115.30

Cette mauvaise estimation conduit le CBO à choisir cette table comme table directrice du NESTED LOOP pour la joindre avec la table TDO_D_ASSIN_CONTR_ASSU.
Les estimations étant totalement biaisées c'est tout le reste du plan qui est faussé.
La solution en 11g consiste à calculer des statistiques étendues sur l'expression substr(RBQ.RBQ_NUM_CONTR, 1, 3):
BEGIN
 DBMS_STATS.gather_table_stats
 (ownname => 'ADWH00',
 tabname => 'TDO_D_ASSIN_ROLE_COORD_BQE',
 method_opt => 'FOR COLUMNS (substr(RBQ_NUM_CONTR, 1, 3)) size 1'
 );
END;
/
J'ai mis le paramètre d'instance ENABLE_DDL_LOGGING à TRUE et voici ce qu'on voit dans le fichier ALERT lorsqu'on calcule des stats étendues sur l'expression substr(RBQ_NUM_CONTR, 1, 3):
alter table "ADWH00"."TDO_D_ASSIN_ROLE_COORD_BQE" add (SYS_STUXQ$Y7DH65G7U2BC3$3Y_3NF as (substr(RBQ_NUM_CONTR, 1, 3)) virtual BY USER for statistics)

Le calcul de stats étendues sur l'expression génère en réalité la création d'une colonne virtuelle sur la table TDO_D_ASSIN_ROLE_COORD_BQE.

Une fois les stats étendues calculées (c-a-d une fois la colonne virtuelle créée), on obtient le plan suivant lorsqu'on exécute de nouveau la requête:
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                                | Name                         | Starts | E-Rows | A-Rows |   A-Time   | Buffers | Reads  |  OMem |  1Mem | Used-Mem |
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                         |                              |      1 |        |  18229 |00:03:09.28 |     429K|    311K|       |       |          |
|   1 |  CONCATENATION                           |                              |      1 |        |  18229 |00:03:09.28 |     429K|    311K|       |       |          |
|*  2 |   HASH JOIN                              |                              |      1 |  20717 |  18229 |00:02:03.16 |     288K|    228K|  2494K|  1736K| 2540K (0)|
|*  3 |    INDEX FAST FULL SCAN                  | UK_TDO_R_PDV_DISTRIB         |      1 |  28501 |  28497 |00:00:00.02 |     167 |      0 |       |       |          |
|   4 |    NESTED LOOPS OUTER                    |                              |      1 |  20717 |  18229 |00:02:03.07 |     288K|    228K|       |       |          |
|*  5 |     HASH JOIN                            |                              |      1 |  20717 |  18229 |00:02:02.62 |     232K|    228K|  2327K|  1129K| 3297K (0)|
|*  6 |      HASH JOIN                           |                              |      1 |  20717 |  18261 |00:01:22.93 |   86307 |  83282 |  2129K|  2004K| 2289K (0)|
|   7 |       INDEX FAST FULL SCAN               | PK_GIC_DEM_LISTE_CONTRATS    |      1 |  20000 |  20000 |00:00:00.02 |    2718 |      0 |       |       |          |
|   8 |       PARTITION LIST ALL                 |                              |      1 |     18M|     18M|00:01:09.89 |   83589 |  83282 |       |       |          |
|*  9 |        TABLE ACCESS FULL                 | TDO_D_ASSIN_ROLE_COORD_BQE   |    227 |     18M|     18M|00:01:02.25 |   83589 |  83282 |       |       |          |
|  10 |      TABLE ACCESS FULL                   | TDO_D_ASSIN_COORD_BQE        |      1 |     16M|     16M|00:00:27.26 |     146K|    145K|       |       |          |
|  11 |     TABLE ACCESS BY GLOBAL INDEX ROWID   | TDO_D_ASSIN_CONTR_ASSU       |  18229 |      1 |  18229 |00:00:00.41 |   55907 |      0 |       |       |          |
|* 12 |      INDEX UNIQUE SCAN                   | PK_ASSIN_CON_NUM_CONTR       |  18229 |      1 |  18229 |00:00:00.23 |   37677 |      0 |       |       |          |
|  13 |   NESTED LOOPS                           |                              |      1 |      1 |      0 |00:01:06.09 |     141K|  83282 |       |       |          |
|  14 |    NESTED LOOPS                          |                              |      1 |      1 |      0 |00:01:06.09 |     141K|  83282 |       |       |          |
|  15 |     NESTED LOOPS                         |                              |      1 |      1 |      0 |00:01:06.09 |     141K|  83282 |       |       |          |
|* 16 |      FILTER                              |                              |      1 |        |      0 |00:01:06.09 |     141K|  83282 |       |       |          |
|  17 |       NESTED LOOPS OUTER                 |                              |      1 |      1 |  18261 |00:01:06.08 |     141K|  83282 |       |       |          |
|* 18 |        HASH JOIN                         |                              |      1 |  20717 |  18261 |00:01:05.80 |   86306 |  83282 |  2129K|  2004K| 2283K (0)|
|  19 |         INDEX FAST FULL SCAN             | PK_GIC_DEM_LISTE_CONTRATS    |      1 |  20000 |  20000 |00:00:00.02 |    2718 |      0 |       |       |          |
|  20 |         PARTITION LIST ALL               |                              |      1 |     18M|     18M|00:00:52.92 |   83588 |  83282 |       |       |          |
|* 21 |          TABLE ACCESS FULL               | TDO_D_ASSIN_ROLE_COORD_BQE   |    227 |     18M|     18M|00:00:45.32 |   83588 |  83282 |       |       |          |
|  22 |        TABLE ACCESS BY GLOBAL INDEX ROWID| TDO_D_ASSIN_CONTR_ASSU       |  18261 |      1 |  18261 |00:00:00.26 |   54798 |      0 |       |       |          |
|* 23 |         INDEX UNIQUE SCAN                | PK_ASSIN_CON_NUM_CONTR       |  18261 |      1 |  18261 |00:00:00.13 |   36537 |      0 |       |       |          |
|* 24 |      INDEX FAST FULL SCAN                | UK_TDO_R_PDV_DISTRIB         |      0 |  36746 |      0 |00:00:00.01 |       0 |      0 |       |       |          |
|* 25 |     INDEX RANGE SCAN                     | PK_ASSIN_CBQ_TEC_COORD_PERSO |      0 |      1 |      0 |00:00:00.01 |       0 |      0 |       |       |          |
|  26 |    TABLE ACCESS BY INDEX ROWID           | TDO_D_ASSIN_COORD_BQE        |      0 |      1 |      0 |00:00:00.01 |       0 |      0 |       |       |          |
-----------------------------------------------------------------------------------------------------------------------------------------------------------------------
 
Predicate Information (identified by operation id):
---------------------------------------------------
 
   2 - access("PDVD_CD_POINT_VENTE"="CON"."CON_CD_PVE_SOUS")
   3 - filter("PDVD_CD_DISTRIB"='400000')
   5 - access("CB"."CBQ_ID_PERSONNE"="RBQ"."RBQ_ID_PERSONNE" AND "CB"."CBQ_ID_TEC_COORD_BQE"="RBQ"."RBQ_ID_TEC_COORD_BQE")
   6 - access("RBQ"."RBQ_NUM_CONTR"="NUM_CONTRAT")
   9 - filter((SUBSTR("RBQ_NUM_CONTR",1,3)<>'398' AND SUBSTR("RBQ_NUM_CONTR",1,3)<>'399' AND SUBSTR("RBQ_NUM_CONTR",1,3)<>'400' AND 
              SUBSTR("RBQ_NUM_CONTR",1,3)<>'412'))
  12 - access("CON_NUM_CONTR"="RBQ"."RBQ_NUM_CONTR")
  16 - filter("CON"."CON_CD_PVE_SOUS" IS NULL)
  18 - access("RBQ"."RBQ_NUM_CONTR"="NUM_CONTRAT")
  21 - filter((SUBSTR("RBQ_NUM_CONTR",1,3)<>'398' AND SUBSTR("RBQ_NUM_CONTR",1,3)<>'399' AND SUBSTR("RBQ_NUM_CONTR",1,3)<>'400' AND 
              SUBSTR("RBQ_NUM_CONTR",1,3)<>'412'))
  23 - access("CON_NUM_CONTR"="RBQ"."RBQ_NUM_CONTR")
  24 - filter((LNNVL("PDVD_CD_POINT_VENTE"="CON"."CON_CD_PVE_SOUS") OR LNNVL("PDVD_CD_DISTRIB"='400000')))
  25 - access("CB"."CBQ_ID_PERSONNE"="RBQ"."RBQ_ID_PERSONNE" AND "CB"."CBQ_ID_TEC_COORD_BQE"="RBQ"."RBQ_ID_TEC_COORD_BQE")

Tout d'abord on note que la requête s'exécute en 3 minutes (alors qu'elle n'aboutissait pas sans les stats étendues). Ensuite on voit que la cardinalité est bien estimée pour la table TDO_D_ASSIN_ROLE_COORD_BQE (18M pour les colonnes E-ROWS et A-ROWS).
Enfin, on constate que grâce à cette bonne estimation la table n'est plus attaquée via un NESTED LOOP mais que le CBO a opté pour un HASH JOIN tout à fait justifié.


Cas 2: Stats étendues sur des colonnes corrélées

Le second problème concernait la requête suivante qui mettait 2h34 pour s'exécuter:
SELECT DISTINCT
 FLC_DT_FIN_ECH_FLUX Date_arrete,
 ASS_NUM_CONTR_COLLECT_CNP Num_contrat,
 ASS_NUM_CONTRACTANT Id_coll,
 SUM (
 DECODE (ASS_NUM_CONTRACTANT,
 '00698', 12 * ADH_SOMME_MVT_RELATIFS_TTC,
 '77009', 12 * ADH_SOMME_MVT_RELATIFS_TTC,
 '90074', 12 * ADH_SOMME_MVT_RELATIFS_TTC,
 4 * ADH_SOMME_MVT_RELATIFS_TTC))
FROM odd_flux_cid a, odd_assure b, odd_info_adhesion d
where a.num_integration in (8118,8112,8069,8186,8148,8119,8094,8070,8187,8149,8120,8095,8071,8121,8096,8072,8188,8150,8122,8097,8073,8189,8151,8123,8098,8074,8190,8152,8125,8099,8075,8191,8153,8127,
8100,8192,8154,8129,8101,8077,8193,8155,8130,8102,8078,8194,8156,8131,8103,8079,8195,8158,8132,8104,8080,8197,8159,8133,8105,8081,8162,8134,8106,8082,8198,8163,8135,8107,8083,8200,8164,8136,8108,8084,
8137,8110,8085,8165,8138,8109,8086,8202,8166,8139,8111,8087)
 AND b.num_integration = d.num_integration
 AND ASS_ID_FLUX = ADH_ID_FLUX
 AND ASS_NUM_CCOLTE = ADH_NUM_CCOLTE
 AND ASS_NUM_REF_ASS = ADH_NUM_REF_ASS
 AND a.num_integration = b.num_integration
 AND ASS_ID_FLUX = flc_id_flux
 AND ASS_ID_DELEGATAIRE = flc_id_delegataire
GROUP BY FLC_DT_FIN_ECH_FLUX, ASS_NUM_CONTR_COLLECT_CNP, ASS_NUM_CONTRACTANT;




1469 rows selected.


Elapsed: 02:34:56.28


Plan hash value: 863059560


-------------------------------------------------------------------------------------------------------------------------------------------------------------
| Id  | Operation                              | Name                 | Starts | E-Rows | A-Rows |   A-Time   | Buffers | Reads  |  OMem |  1Mem | Used-Mem |
-------------------------------------------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT                       |                      |      1 |        |   1469 |00:11:35.38 |      13M|    392K|       |       |          |
|   1 |  HASH GROUP BY                         |                      |      1 |  11546 |   1469 |00:11:35.38 |      13M|    392K|   855K|   855K| 2582K (0)|
|   2 |   NESTED LOOPS                         |                      |      1 |        |     11M|02:34:29.63 |      13M|    392K|       |       |          |
|   3 |    NESTED LOOPS                        |                      |      1 |  11546 |     11M|02:32:29.42 |    2327K|    258K|       |       |          |
|   4 |     NESTED LOOPS                       |                      |      1 |   7504 |   7949K|00:01:24.63 |    1442K|    184K|       |       |          |
|   5 |      PARTITION RANGE INLIST            |                      |      1 |   1310 |     86 |00:00:01.02 |     173 |    172 |       |       |          |
|*  6 |       TABLE ACCESS FULL                | ODD_FLUX_CID         |     86 |   1310 |     86 |00:00:01.02 |     173 |    172 |       |       |          |
|   7 |      PARTITION RANGE AND               |                      |     86 |      6 |   7949K|00:01:20.55 |    1442K|    184K|       |       |          |
|*  8 |       TABLE ACCESS BY LOCAL INDEX ROWID| ODD_ASSURE           |     86 |      6 |   7949K|00:01:17.40 |    1442K|    184K|       |       |          |
|*  9 |        INDEX RANGE SCAN                | PK_ASS_ASSURE        |     86 |     56 |   7949K|00:00:17.86 |   34929 |  34746 |       |       |          |
|  10 |     PARTITION RANGE AND                |                      |   7949K|      1 |     11M|02:30:54.44 |     884K|  74033 |       |       |          |
|* 11 |      INDEX RANGE SCAN                  | PK_ADH_INFO_ADHESION |   7949K|      1 |     11M|00:01:04.85 |     884K|  74033 |       |       |          |
|  12 |    TABLE ACCESS BY LOCAL INDEX ROWID   | ODD_INFO_ADHESION    |     11M|      2 |     11M|00:01:46.81 |      11M|    134K|       |       |          |
-------------------------------------------------------------------------------------------------------------------------------------------------------------


Predicate Information (identified by operation id):
---------------------------------------------------


   6 - filter(("A"."NUM_INTEGRATION"=8069 OR "A"."NUM_INTEGRATION"=8070 OR "A"."NUM_INTEGRATION"=8071 OR "A"."NUM_INTEGRATION"=8072 OR
              "A"."NUM_INTEGRATION"=8073 OR "A"."NUM_INTEGRATION"=8074 OR "A"."NUM_INTEGRATION"=8075 OR "A"."NUM_INTEGRATION"=8077 OR "A"."NUM_INTEGRATION"=8078
              OR "A"."NUM_INTEGRATION"=8079 OR "A"."NUM_INTEGRATION"=8080 OR "A"."NUM_INTEGRATION"=8081 OR "A"."NUM_INTEGRATION"=8082 OR
              "A"."NUM_INTEGRATION"=8083 OR "A"."NUM_INTEGRATION"=8084 OR "A"."NUM_INTEGRATION"=8085 OR "A"."NUM_INTEGRATION"=8086 OR "A"."NUM_INTEGRATION"=8087
              OR "A"."NUM_INTEGRATION"=8094 OR "A"."NUM_INTEGRATION"=8095 OR "A"."NUM_INTEGRATION"=8096 OR "A"."NUM_INTEGRATION"=8097 OR
              "A"."NUM_INTEGRATION"=8098 OR "A"."NUM_INTEGRATION"=8099 OR "A"."NUM_INTEGRATION"=8100 OR "A"."NUM_INTEGRATION"=8101 OR "A"."NUM_INTEGRATION"=8102
              OR "A"."NUM_INTEGRATION"=8103 OR "A"."NUM_INTEGRATION"=8104 OR "A"."NUM_INTEGRATION"=8105 OR "A"."NUM_INTEGRATION"=8106 OR
              "A"."NUM_INTEGRATION"=8107 OR "A"."NUM_INTEGRATION"=8108 OR "A"."NUM_INTEGRATION"=8109 OR "A"."NUM_INTEGRATION"=8110 OR "A"."NUM_INTEGRATION"=8111
              OR "A"."NUM_INTEGRATION"=8112 OR "A"."NUM_INTEGRATION"=8118 OR "A"."NUM_INTEGRATION"=8119 OR "A"."NUM_INTEGRATION"=8120 OR
              "A"."NUM_INTEGRATION"=8121 OR "A"."NUM_INTEGRATION"=8122 OR "A"."NUM_INTEGRATION"=8123 OR "A"."NUM_INTEGRATION"=8125 OR "A"."NUM_INTEGRATION"=8127
              OR "A"."NUM_INTEGRATION"=8129 OR "A"."NUM_INTEGRATION"=8130 OR "A"."NUM_INTEGRATION"=8131 OR "A"."NUM_INTEGRATION"=8132 OR
              "A"."NUM_INTEGRATION"=8133 OR "A"."NUM_INTEGRATION"=8134 OR "A"."NUM_INTEGRATION"=8135 OR "A"."NUM_INTEGRATION"=8136 OR "A"."NUM_INTEGRATION"=8137
              OR "A"."NUM_INTEGRATION"=8138 OR "A"."NUM_INTEGRATION"=8139 OR "A"."NUM_INTEGRATION"=8148 OR "A"."NUM_INTEGRATION"=8149 OR
              "A"."NUM_INTEGRATION"=8150 OR "A"."NUM_INTEGRATION"=8151 OR "A"."NUM_INTEGRATION"=8152 OR "A"."NUM_INTEGRATION"=8153 OR "A"."NUM_INTEGRATION"=8154
              OR "A"."NUM_INTEGRATION"=8155 OR "A"."NUM_INTEGRATION"=8156 OR "A"."NUM_INTEGRATION"=8158 OR "A"."NUM_INTEGRATION"=8159 OR
              "A"."NUM_INTEGRATION"=8162 OR "A"."NUM_INTEGRATION"=8163 OR "A"."NUM_INTEGRATION"=8164 OR "A"."NUM_INTEGRATION"=8165 OR "A"."NUM_INTEGRATION"=8166
              OR "A"."NUM_INTEGRATION"=8186 OR "A"."NUM_INTEGRATION"=8187 OR "A"."NUM_INTEGRATION"=8188 OR "A"."NUM_INTEGRATION"=8189 OR
              "A"."NUM_INTEGRATION"=8190 OR "A"."NUM_INTEGRATION"=8191 OR "A"."NUM_INTEGRATION"=8192 OR "A"."NUM_INTEGRATION"=8193 OR "A"."NUM_INTEGRATION"=8194
              OR "A"."NUM_INTEGRATION"=8195 OR "A"."NUM_INTEGRATION"=8197 OR "A"."NUM_INTEGRATION"=8198 OR "A"."NUM_INTEGRATION"=8200 OR
              "A"."NUM_INTEGRATION"=8202))
   8 - filter("ASS_ID_DELEGATAIRE"="FLC_ID_DELEGATAIRE")
   9 - access("A"."NUM_INTEGRATION"="B"."NUM_INTEGRATION" AND "ASS_ID_FLUX"="FLC_ID_FLUX")
       filter(("B"."NUM_INTEGRATION"=8069 OR "B"."NUM_INTEGRATION"=8070 OR "B"."NUM_INTEGRATION"=8071 OR "B"."NUM_INTEGRATION"=8072 OR
              "B"."NUM_INTEGRATION"=8073 OR "B"."NUM_INTEGRATION"=8074 OR "B"."NUM_INTEGRATION"=8075 OR "B"."NUM_INTEGRATION"=8077 OR "B"."NUM_INTEGRATION"=8078
              OR "B"."NUM_INTEGRATION"=8079 OR "B"."NUM_INTEGRATION"=8080 OR "B"."NUM_INTEGRATION"=8081 OR "B"."NUM_INTEGRATION"=8082 OR
              "B"."NUM_INTEGRATION"=8083 OR "B"."NUM_INTEGRATION"=8084 OR "B"."NUM_INTEGRATION"=8085 OR "B"."NUM_INTEGRATION"=8086 OR "B"."NUM_INTEGRATION"=8087
              OR "B"."NUM_INTEGRATION"=8094 OR "B"."NUM_INTEGRATION"=8095 OR "B"."NUM_INTEGRATION"=8096 OR "B"."NUM_INTEGRATION"=8097 OR
              "B"."NUM_INTEGRATION"=8098 OR "B"."NUM_INTEGRATION"=8099 OR "B"."NUM_INTEGRATION"=8100 OR "B"."NUM_INTEGRATION"=8101 OR "B"."NUM_INTEGRATION"=8102
              OR "B"."NUM_INTEGRATION"=8103 OR "B"."NUM_INTEGRATION"=8104 OR "B"."NUM_INTEGRATION"=8105 OR "B"."NUM_INTEGRATION"=8106 OR
              "B"."NUM_INTEGRATION"=8107 OR "B"."NUM_INTEGRATION"=8108 OR "B"."NUM_INTEGRATION"=8109 OR "B"."NUM_INTEGRATION"=8110 OR "B"."NUM_INTEGRATION"=8111
              OR "B"."NUM_INTEGRATION"=8112 OR "B"."NUM_INTEGRATION"=8118 OR "B"."NUM_INTEGRATION"=8119 OR "B"."NUM_INTEGRATION"=8120 OR
              "B"."NUM_INTEGRATION"=8121 OR "B"."NUM_INTEGRATION"=8122 OR "B"."NUM_INTEGRATION"=8123 OR "B"."NUM_INTEGRATION"=8125 OR "B"."NUM_INTEGRATION"=8127
              OR "B"."NUM_INTEGRATION"=8129 OR "B"."NUM_INTEGRATION"=8130 OR "B"."NUM_INTEGRATION"=8131 OR "B"."NUM_INTEGRATION"=8132 OR
              "B"."NUM_INTEGRATION"=8133 OR "B"."NUM_INTEGRATION"=8134 OR "B"."NUM_INTEGRATION"=8135 OR "B"."NUM_INTEGRATION"=8136 OR "B"."NUM_INTEGRATION"=8137
              OR "B"."NUM_INTEGRATION"=8138 OR "B"."NUM_INTEGRATION"=8139 OR "B"."NUM_INTEGRATION"=8148 OR "B"."NUM_INTEGRATION"=8149 OR
              "B"."NUM_INTEGRATION"=8150 OR "B"."NUM_INTEGRATION"=8151 OR "B"."NUM_INTEGRATION"=8152 OR "B"."NUM_INTEGRATION"=8153 OR "B"."NUM_INTEGRATION"=8154
              OR "B"."NUM_INTEGRATION"=8155 OR "B"."NUM_INTEGRATION"=8156 OR "B"."NUM_INTEGRATION"=8158 OR "B"."NUM_INTEGRATION"=8159 OR
              "B"."NUM_INTEGRATION"=8162 OR "B"."NUM_INTEGRATION"=8163 OR "B"."NUM_INTEGRATION"=8164 OR "B"."NUM_INTEGRATION"=8165 OR "B"."NUM_INTEGRATION"=8166
              OR "B"."NUM_INTEGRATION"=8186 OR "B"."NUM_INTEGRATION"=8187 OR "B"."NUM_INTEGRATION"=8188 OR "B"."NUM_INTEGRATION"=8189 OR
              "B"."NUM_INTEGRATION"=8190 OR "B"."NUM_INTEGRATION"=8191 OR "B"."NUM_INTEGRATION"=8192 OR "B"."NUM_INTEGRATION"=8193 OR "B"."NUM_INTEGRATION"=8194
              OR "B"."NUM_INTEGRATION"=8195 OR "B"."NUM_INTEGRATION"=8197 OR "B"."NUM_INTEGRATION"=8198 OR "B"."NUM_INTEGRATION"=8200 OR
              "B"."NUM_INTEGRATION"=8202))
  11 - access("B"."NUM_INTEGRATION"="D"."NUM_INTEGRATION" AND "ASS_ID_FLUX"="ADH_ID_FLUX" AND "ASS_NUM_CCOLTE"="ADH_NUM_CCOLTE" AND
              "ASS_NUM_REF_ASS"="ADH_NUM_REF_ASS")
       filter(("D"."NUM_INTEGRATION"=8069 OR "D"."NUM_INTEGRATION"=8070 OR "D"."NUM_INTEGRATION"=8071 OR "D"."NUM_INTEGRATION"=8072 OR
              "D"."NUM_INTEGRATION"=8073 OR "D"."NUM_INTEGRATION"=8074 OR "D"."NUM_INTEGRATION"=8075 OR "D"."NUM_INTEGRATION"=8077 OR "D"."NUM_INTEGRATION"=8078
              OR "D"."NUM_INTEGRATION"=8079 OR "D"."NUM_INTEGRATION"=8080 OR "D"."NUM_INTEGRATION"=8081 OR "D"."NUM_INTEGRATION"=8082 OR
              "D"."NUM_INTEGRATION"=8083 OR "D"."NUM_INTEGRATION"=8084 OR "D"."NUM_INTEGRATION"=8085 OR "D"."NUM_INTEGRATION"=8086 OR "D"."NUM_INTEGRATION"=8087
              OR "D"."NUM_INTEGRATION"=8094 OR "D"."NUM_INTEGRATION"=8095 OR "D"."NUM_INTEGRATION"=8096 OR "D"."NUM_INTEGRATION"=8097 OR
              "D"."NUM_INTEGRATION"=8098 OR "D"."NUM_INTEGRATION"=8099 OR "D"."NUM_INTEGRATION"=8100 OR "D"."NUM_INTEGRATION"=8101 OR "D"."NUM_INTEGRATION"=8102
              OR "D"."NUM_INTEGRATION"=8103 OR "D"."NUM_INTEGRATION"=8104 OR "D"."NUM_INTEGRATION"=8105 OR "D"."NUM_INTEGRATION"=8106 OR
              "D"."NUM_INTEGRATION"=8107 OR "D"."NUM_INTEGRATION"=8108 OR "D"."NUM_INTEGRATION"=8109 OR "D"."NUM_INTEGRATION"=8110 OR "D"."NUM_INTEGRATION"=8111
              OR "D"."NUM_INTEGRATION"=8112 OR "D"."NUM_INTEGRATION"=8118 OR "D"."NUM_INTEGRATION"=8119 OR "D"."NUM_INTEGRATION"=8120 OR
              "D"."NUM_INTEGRATION"=8121 OR "D"."NUM_INTEGRATION"=8122 OR "D"."NUM_INTEGRATION"=8123 OR "D"."NUM_INTEGRATION"=8125 OR "D"."NUM_INTEGRATION"=8127
              OR "D"."NUM_INTEGRATION"=8129 OR "D"."NUM_INTEGRATION"=8130 OR "D"."NUM_INTEGRATION"=8131 OR "D"."NUM_INTEGRATION"=8132 OR
              "D"."NUM_INTEGRATION"=8133 OR "D"."NUM_INTEGRATION"=8134 OR "D"."NUM_INTEGRATION"=8135 OR "D"."NUM_INTEGRATION"=8136 OR "D"."NUM_INTEGRATION"=8137
              OR "D"."NUM_INTEGRATION"=8138 OR "D"."NUM_INTEGRATION"=8139 OR "D"."NUM_INTEGRATION"=8148 OR "D"."NUM_INTEGRATION"=8149 OR
              "D"."NUM_INTEGRATION"=8150 OR "D"."NUM_INTEGRATION"=8151 OR "D"."NUM_INTEGRATION"=8152 OR "D"."NUM_INTEGRATION"=8153 OR "D"."NUM_INTEGRATION"=8154
              OR "D"."NUM_INTEGRATION"=8155 OR "D"."NUM_INTEGRATION"=8156 OR "D"."NUM_INTEGRATION"=8158 OR "D"."NUM_INTEGRATION"=8159 OR
              "D"."NUM_INTEGRATION"=8162 OR "D"."NUM_INTEGRATION"=8163 OR "D"."NUM_INTEGRATION"=8164 OR "D"."NUM_INTEGRATION"=8165 OR "D"."NUM_INTEGRATION"=8166
              OR "D"."NUM_INTEGRATION"=8186 OR "D"."NUM_INTEGRATION"=8187 OR "D"."NUM_INTEGRATION"=8188 OR "D"."NUM_INTEGRATION"=8189 OR
              "D"."NUM_INTEGRATION"=8190 OR "D"."NUM_INTEGRATION"=8191 OR "D"."NUM_INTEGRATION"=8192 OR "D"."NUM_INTEGRATION"=8193 OR "D"."NUM_INTEGRATION"=8194
              OR "D"."NUM_INTEGRATION"=8195 OR "D"."NUM_INTEGRATION"=8197 OR "D"."NUM_INTEGRATION"=8198 OR "D"."NUM_INTEGRATION"=8200 OR
              "D"."NUM_INTEGRATION"=8202))
Si on regarde le plan on voit que sur les 2h34 d'exécution on a 2h30 passées sur l'accès à la table ODD_INFO_ADHESION via l'opération "PARTITION RANGE AND".
Cette opération est exécutée 7949000 fois (cf. colonne STARTS) car la jointure précédente entre les tables ODD_FLUX_CID et ODD_ASSURE retourne 7949000 lignes (cf. opération 4 du plan).
Si on regarde la colonne E-ROWS on voit que l'optimiseur estime que la jointure ne retournerait que 7504 lignes. C'est cette mauvaise estimation qui induit derrière le NESTED LOOP hyper couteux sur la table ODD_INFO_ADHESION.
La jointure avec la table ODD_ASSURE s'effectue sur les colonnes NUM_INTEGRATION, ASS_ID_FLUX et ASS_ID_DELEGATAIRE.
Effectuons un comptage sur la table ODD_ASSURE juste avec la clause NUM_INTEGRATION:
select count(*) from ODD_ASSURE b
where b.num_integration in (8118,8112,8069,8186,8148,8119,8094,8070,8187,8149,8120,8095,8071,8121,8096,8072,8188,8150,8122,8097,8073,8189,8151,8123,8098,8074,8190,8152,8125,8099,8075,8191,8153,8127,
   8100,8192,8154,8129,8101,8077,8193,8155,8130,8102,8078,8194,8156,8131,8103,8079,8195,8158,8132,8104,8080,8197,8159,8133,8105,8081,8162,8134,8106,8082,8198,8163,8135,8107,8083,8200,8164,8136,8108,8084,
   8137,8110,8085,8165,8138,8109,8086,8202,8166,8139,8111,8087);
   
---------------------------------------------------------------------------------------------------------------
| Id  | Operation                  | Name          | Starts | E-Rows | A-Rows |   A-Time   | Buffers | Reads  |
---------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT           |               |      1 |        |      1 |00:00:12.96 |   34926 |  34925 |
|   1 |  SORT AGGREGATE            |               |      1 |      1 |      1 |00:00:12.96 |   34926 |  34925 |
|   2 |   INLIST ITERATOR          |               |      1 |        |   7949K|00:00:11.72 |   34926 |  34925 |
|   3 |    PARTITION RANGE ITERATOR|               |     86 |   7967K|   7949K|00:00:09.01 |   34926 |  34925 |
|*  4 |     INDEX RANGE SCAN       | PK_ASS_ASSURE |     86 |   7967K|   7949K|00:00:06.37 |   34926 |  34925 |
---------------------------------------------------------------------------------------------------------------
On voit que le nombre de lignes retournées est toujours de 7949K alors que cette fois on a utilisé uniqument la colonne NUM_INTEGRATION.
Il semble que les 2 autres colonnes n'influent pas sur la cardinalité. Cela revient donc à dire qu'il existe une corrélation entre les 3 colonnes NUM_INTEGRATION, ASS_ID_FLUX et ASS_ID_DELEGATAIRE.
Il serait donc intéressant de calculer des stats étendues pour la table ODD_ASSURE sur ces 3 colonnes ainsi que pour la table ODD_FLUX_CID:
BEGIN
 DBMS_STATS.gather_table_stats('AODD02','ODD_ASSURE',
 method_opt => 'FOR COLUMNS (NUM_INTEGRATION,ASS_ID_FLUX,ASS_ID_DELEGATAIRE) size 1',
 NO_INVALIDATE => FALSE,
 FORCE => TRUE
 );
END;
/


BEGIN
 DBMS_STATS.gather_table_stats('AODD02','ODD_FLUX_CID',
 method_opt => 'FOR COLUMNS (NUM_INTEGRATION,FLC_ID_FLUX,FLC_ID_DELEGATAIRE) size 1',
 NO_INVALIDATE => FALSE,
 FORCE => TRUE
 );
END;
/
Si on relance la requête on obtient désormais le plan suivant:
------------------------------------------------------------------------------------------------------------------------------------------------------------
| Id  | Operation             | Name              | Starts | E-Rows | A-Rows |   A-Time   | Buffers | Reads  | Writes |  OMem |  1Mem | Used-Mem | Used-Tmp|
------------------------------------------------------------------------------------------------------------------------------------------------------------
|   0 | SELECT STATEMENT      |                   |      1 |        |   1469 |00:01:35.85 |     283K|    288K|   5872 |       |       |          |         |
|   1 |  HASH GROUP BY        |                   |      1 |    355K|   1469 |00:01:35.85 |     283K|    288K|   5872 |   855K|   855K|   17M (0)|         |
|   2 |   PARTITION RANGE AND |                   |      1 |     53M|     11M|00:01:19.64 |     283K|    288K|   5872 |       |       |          |         |
|*  3 |    HASH JOIN          |                   |     86 |     53M|     11M|00:01:15.20 |     283K|    288K|   5872 |   972K|   972K|  372K (0)|         |
|*  4 |     TABLE ACCESS FULL | ODD_FLUX_CID      |     86 |   1322 |     86 |00:00:00.52 |     172 |    172 |      0 |       |       |          |         |
|*  5 |     HASH JOIN         |                   |     86 |     53M|     11M|00:01:01.45 |     282K|    288K|   5872 |  1889M|    35M|   20M (0)|   12288 |
|*  6 |      TABLE ACCESS FULL| ODD_ASSURE        |     86 |     37M|   7949K|00:00:11.45 |     146K|    146K|      0 |       |       |          |         |
|*  7 |      TABLE ACCESS FULL| ODD_INFO_ADHESION |     86 |     54M|     11M|00:00:19.97 |     136K|    136K|      0 |       |       |          |         |
------------------------------------------------------------------------------------------------------------------------------------------------------------
Les stats étendues ont permis d'obtenir une cardinalité pas tout à fait exact mais en tout cas plus proche de la réalité.
Les NESTED LOOP ont laissé place à des HASH JOIN ce qui permet de faire tourner la requête en 1 minute 35 au lieu de 2h34.

J'espère que ces 2 exemples tirés de la réalité vous permettront de comprendre comment grâce aux statistiques étendues on peut aider l'optimiseur à avoir une connaissance plus intelligente des données et ainsi lui permettre de nous trouver un plan adequat.

mardi 10 décembre 2013

Impact du Clustering Factor dans la mise à jour de tables


J'ai eu un petit débat avec mes collègues DBAs la semaine dernière sur le fait que le clustering factor d'un index pouvait expliquer de mauvaises performances sur la mise à jour d'une table. Pour eux, le clustering factor n'impactait que l'opération RANGE SCAN de l'index lors d'un SELECT, alors que j’avançais l'idée que les mauvaises performances d'un insert par exemple pouvait être lié au fait d'avoir un index (à mettre à jour suite à la mise à jour de la table), et que cette mise à jour générait plus de logical reads selon la qualité du clustering factor (CF).

Je n'ai donc pas pu résister à l'idée de faire un petit test case pour le leur prouver.

On commence par créér une table T1 avec 2 colonnes. La table sera ordonnée selon la première colonne tandis que la 2ème colonne sera l'inverse de la première colonne.

Bien sûr on va créer un index sur chacune des 2 colonnes et vous vous en doutez surement, la première colonne aura un clustering factor très bon c-a-d proche du nombre de blocs de la table (car l'ordre d'insertion dans la table correspond aux entrées du 1er index) tandis que la seconde colonne aura un CF très mauvais c’est-à-dire proche du nombre de lignes.
SQL> CREATE TABLE T1
2  AS
3  SELECT LPAD (object_id, 10, '0') AS C1, reverse (LPAD (object_id, 10, '0')) AS C2
4   FROM dba_objects where 1=2;

Table created.

SQL> create index idx1 on T1(C1);

Index created.

SQL> create index idx2 on T1(C2);

Index created.

Pour l'instant la table ne contient pas de lignes.
On va ensuite insérer les lignes (insert en mode conventionnel) et on va regarder le nombre de logical reads générés pour chaque index dans la vue V$SEGMENT_STATISTICS:
SQL> insert into T1
  2  SELECT LPAD (object_id, 10, '0') AS C1, reverse (LPAD (object_id, 10, '0')) AS C2
  3   FROM dba_objects
  4   order by 1;

57633 rows created.

SQL> commit;

Commit complete.

SQL> select statistic_name,object_name,value from v$segment_statistics
  2      where owner='APAE01' and object_name in ('T1','IDX1','IDX2') and value>0
  3      order by 1,2;

STATISTIC_NAME                                                   OBJECT_NAME                         VALUE
---------------------------------------------------------------- ------------------------------ ----------
db block changes                                                 IDX1                                 2272
db block changes                                                 IDX2                                59520
db block changes                                                 T1                                   1504
logical reads                                                    IDX1                                 3840
logical reads                                                    IDX2                               116752
logical reads                                                    T1                                   3328
space allocated                                                  IDX1                              2097152
space allocated                                                  IDX2                              3145728
space allocated                                                  T1                                2097152
space used                                                       IDX1                              1389672
space used                                                       IDX2                              1768402
space used                                                       T1                                1542726

BINGO!!!!
On s'aperçoit que le 2ème index a généré 30 fois plus de logical reads (116 752 vs 3 840)
Mais c'est en fait très logique: comme le premier index est trié selon le même ordre que les données insérées dans la table on a plus de chances d'insérer une entrée d'index dans le même bloc feuille que l'entrée précédente du coup on change beaucoup de moins de bloc à chaque mise à jour de l'index et on a ainsi moins de logical reads puisque le bloc feuille de l'index à modifier est déjà pinné dans le cache par le process server. A l'inverse, pour le 2ème index qui ne suit pas du tout l'ordre des données insérées dans la table, on aura à chaque nouvelle ligne insérée dans la table un nouveau logical read car la ligne a de fortes chances de se trouver dans un bloc feuille différent.

Un petit calcul de stats sur la table et ses index nous indique qu'effectivement l'index 1 a un clustering factor proche du nombre de blocs feuilles alors que l'index 2 a un CF proche du nombre de lignes:
SQL> exec dbms_stats.gather_table_stats('APAE01','T1',cascade=>TRUE);

PL/SQL procedure successfully completed.

SQL> select index_name,blevel,leaf_blocks,distinct_keys,clustering_factor,num_rows
2  from dba_indexes where index_name in ('IDX1','IDX2')
3  order by 1;

INDEX_NAME                         BLEVEL LEAF_BLOCKS DISTINCT_KEYS CLUSTERING_FACTOR   NUM_ROWS
------------------------------ ---------- ----------- ------------- ----------------- ----------
IDX1                                    1         160         57633               215      57633
IDX2                                    1         256         57633             57633      57633

La solution dans ce cas pour éviter le nombre important de logical reads consiste à effectuer un insert en mode DIRECT PATH car dans ce cas l'index est mis à jour seulement à la fin une fois que les données ont été triées pour chaque index.
SQL> insert /*+ APPEND */ into T1
  2  SELECT LPAD (object_id, 10, '0') AS C1, reverse (LPAD (object_id, 10, '0')) AS C2
3   FROM dba_objects
4   order by 1;

57633 rows created.

SQL> commit;

Commit complete.

SQL> select statistic_name,object_name,value from v$segment_statistics
2      where owner='APAE01' and object_name in ('T1','IDX1','IDX2') and value>0
3      order by 1,2;

STATISTIC_NAME                                                   OBJECT_NAME                         VALUE
---------------------------------------------------------------- ------------------------------ ----------
db block changes                                                 IDX1                                 6496
db block changes                                                 IDX2                                63488
db block changes                                                 T1                                   1536
logical reads                                                    IDX1                                 8944
logical reads                                                    IDX2                               122400
logical reads                                                    T1                                   3904
physical write requests                                          IDX1                                16
physical write requests                                          IDX2                                25
physical write requests                                          T1                                  31
physical writes                                                  IDX1                                  208
physical writes                                                  IDX2                                  336
physical writes                                                  T1                                    472
physical writes direct                                           T1                                    216
space allocated                                                  IDX1                              4194304
space allocated                                                  IDX2                              5242880
space allocated                                                  T1                                4194304
space used                                                       IDX1                              3004846
space used                                                       IDX2                              3326326
space used                                                       T1                                3312198


On voit en effet que le nombre de logical reads pour le 2ème index est passé de 116 752 à 122 400 soit seulement 5648 logical reads au lieu de 116 752 lors de l'insert en mode conventionnel pour le même nombre de lignes insérées.

CONCLUSION:

Il ne faut pas sous estimer le coût de maintenance d'un index notamment si cet index a un clustering factor qui est proche du nombre de lignes de la table.

mardi 19 novembre 2013

Attention au partitioning sans pruning

Ce matin mon client m'a remonté un problème sur 3 process qui tournaient depuis une dizaine d'heures sur une base venant juste d'être migrée en 11g R2 et dont les tables venaient d'être partitionnées.
En listant les sessions actives j'ai remarqué qu'effectivement on avait 3 requêtes qui tournaient respectivement depuis 33963, 36617 et 57709 secondes:
  SID PROG       ADDRESS          HASH_VALUE SQL_ID         CHILD PLAN_HASH_VALUE      EXECS   AVG_ETIME EVENT                SQL_TEXT
----- ---------- ---------------- ---------- ------------- ------ --------------- ---------- ----------- -------------------- -----------------------------------------
  606 sqlplus@ps C000000CE743FC08 1936645007 00jchz9tqxqwg      3      3981773947       3013       39.00 PL/SQL lock timer    SELECT DISTINCT H.GROUP# FROM SYS.WRI$_OP
  590 oracle@psp C000000CE743FC08 1936645007 00jchz9tqxqwg      3      3981773947       3013       39.00 PL/SQL lock timer    SELECT DISTINCT H.GROUP# FROM SYS.WRI$_OP
 1354 uvsh@psp20 C000000CE464D8A8 1685049779 8kgwdsdk6zndm      0       132338241          1   33,963.97 db file scattered re   SELECT  distinct  EVC.EVC_NUM_CONTR,
  408 uvsh@psp20 C0000002ADB65E28 3265361904 bwba60z1a2xzh      0       132338241          1   36,617.62 db file sequential r   SELECT  distinct  EVC.EVC_NUM_CONTR,
  969 uvsh@psp20 C000000C7E6776B0 1248359757 gwfkut956hxad      0       132338241          1   57,709.34 direct path read       SELECT  distinct  EVC.EVC_NUM_CONTR,
En regardant de plus près les 3 requêtes je me suis aperçu qu'elles étaient quasiment identiques.
Voilà justement à quoi ressemble une des 3 requêtes:
SELECT DISTINCT
EVC.EVC_NUM_CONTR,
--      NOM CLIENT par NI
(SELECT MAX (NVL (PPH.PPH_NOM_MARITAL, PPH.PPH_NOM_PATRONYMIQUE))
FROM AODS00.TDO_D_ASSIN_PERS_PHYS PPH,
TDO_D_ASSIN_ROLE_PERSONNE RPE
WHERE     RPE.RPE_NUM_CONTR = EVC.EVC_NUM_CONTR
AND RPE.RPE_CD_ROLE LIKE 'O%'
AND RPE.NUM_INTEGRATION = EVC.NUM_INTEGRATION
AND PPH.NUM_INTEGRATION = RPE.NUM_INTEGRATION
AND PPH.PPH_ID_PERSONNE = RPE.RPE_ID_PERSONNE
AND (RPE.RPE_ID_PERSONNE, rpe.RPE_NUM_CONTR) IN
(  SELECT MAX (RPE2.RPE_ID_PERSONNE), rpe2.RPE_NUM_CONTR
FROM AODS00.TDO_D_ASSIN_ROLE_PERSONNE RPE2
WHERE RPE2.RPE_CD_ROLE LIKE 'O%'
GROUP BY rpe2.RPE_NUM_CONTR))
AS NOM_CONTRACTANT,
-- NOM personne morale
(SELECT PMO.PMO_RAISON_SOCIALE
FROM TDO_D_ASSIN_ROLE_PERSONNE RPE, TDO_D_ASSIN_PERS_MORA PMO
WHERE     RPE.RPE_NUM_CONTR = EVC.EVC_NUM_CONTR
AND RPE.NUM_INTEGRATION = EVC.NUM_INTEGRATION
AND PMO.NUM_INTEGRATION = RPE.NUM_INTEGRATION
AND PMO.PMO_ID_PERSONNE = RPE.RPE_ID_PERSONNE
AND (RPE.RPE_ID_PERSONNE, rpe.RPE_NUM_CONTR) IN
(  SELECT MAX (RPE2.RPE_ID_PERSONNE), rpe2.RPE_NUM_CONTR
FROM TDO_D_ASSIN_ROLE_PERSONNE RPE2
GROUP BY rpe2.RPE_NUM_CONTR))
AS NOM2_CONTRACTANT,
--      ID CLIENT par NI
(SELECT MAX (RPe.RPE_ID_PERSONNE)
FROM AODS00.TDO_D_ASSIN_ROLE_PERSONNE RPE
WHERE     RPE.NUM_INTEGRATION = EVC.NUM_INTEGRATION
AND RPE.RPE_NUM_CONTR = EVC.EVC_NUM_CONTR
AND RPE.RPE_CD_ROLE LIKE 'O%')
AS ID_CONTRACTANT,
--         ID CLIENT
(SELECT MAX (RPE.RPE_ID_PERSONNE)
FROM AODS00.TDO_D_ASSIN_ROLE_PERSONNE RPE
WHERE     RPE.NUM_INTEGRATION <> EVC.NUM_INTEGRATION
AND RPE.RPE_NUM_CONTR = EVC.EVC_NUM_CONTR
AND RPE.RPE_CD_ROLE LIKE 'O%')
AS ID2_CONTRACTANT,
--      PRENOM CLIENT par NI
(SELECT MAX (PPH.PPH_PRENOM)
FROM AODS00.TDO_D_ASSIN_PERS_PHYS PPH,
TDO_D_ASSIN_ROLE_PERSONNE RPE
WHERE     RPE.RPE_NUM_CONTR = EVC.EVC_NUM_CONTR
AND RPE.RPE_CD_ROLE LIKE 'O%'
AND RPE.NUM_INTEGRATION = EVC.NUM_INTEGRATION
AND PPH.NUM_INTEGRATION = RPE.NUM_INTEGRATION
AND PPH.PPH_ID_PERSONNE = RPE.RPE_ID_PERSONNE
AND (RPE.RPE_ID_PERSONNE, rpe.RPE_NUM_CONTR) IN
(  SELECT MAX (RPE2.RPE_ID_PERSONNE), rpe2.RPE_NUM_CONTR
FROM AODS00.TDO_D_ASSIN_ROLE_PERSONNE RPE2
WHERE RPE2.RPE_CD_ROLE LIKE 'O%'
GROUP BY rpe2.RPE_NUM_CONTR))
AS PRENOM,
--      PRENOM CLIENT sans NI
(SELECT MAX (PPH.PPH_PRENOM)
FROM AODS00.TDO_D_ASSIN_PERS_PHYS PPH,
TDO_D_ASSIN_ROLE_PERSONNE RPE
WHERE     RPE.RPE_NUM_CONTR = EVC.EVC_NUM_CONTR
AND RPE.RPE_CD_ROLE LIKE 'O%'
AND RPE.NUM_INTEGRATION <> EVC.NUM_INTEGRATION
AND PPH.NUM_INTEGRATION = RPE.NUM_INTEGRATION
AND PPH.PPH_ID_PERSONNE = RPE.RPE_ID_PERSONNE
AND (RPE.RPE_ID_PERSONNE, rpe.RPE_NUM_CONTR) IN
(  SELECT MAX (RPE2.RPE_ID_PERSONNE), rpe2.RPE_NUM_CONTR
FROM AODS00.TDO_D_ASSIN_ROLE_PERSONNE RPE2
WHERE RPE2.RPE_CD_ROLE LIKE 'O%'
GROUP BY rpe2.RPE_NUM_CONTR))
AS PRENOM2,
--      DATE NAISSANCE CLIENT par NI
(SELECT TO_CHAR (MAX (PPH.PPH_DT_NAISSANCE), 'YYYY-MM-DD HH24:MI:SS')
FROM AODS00.TDO_D_ASSIN_PERS_PHYS PPH,
TDO_D_ASSIN_ROLE_PERSONNE RPE
WHERE     RPE.RPE_NUM_CONTR = EVC.EVC_NUM_CONTR
AND RPE.RPE_CD_ROLE LIKE 'O%'
AND RPE.NUM_INTEGRATION = EVC.NUM_INTEGRATION
AND PPH.NUM_INTEGRATION = RPE.NUM_INTEGRATION
AND PPH.PPH_ID_PERSONNE = RPE.RPE_ID_PERSONNE
AND (RPE.RPE_ID_PERSONNE, rpe.RPE_NUM_CONTR) IN
(  SELECT MAX (RPE2.RPE_ID_PERSONNE), rpe2.RPE_NUM_CONTR
FROM AODS00.TDO_D_ASSIN_ROLE_PERSONNE RPE2
WHERE RPE2.RPE_CD_ROLE LIKE 'O%'
GROUP BY rpe2.RPE_NUM_CONTR))
AS DT_NAISSANCE,
--      DATE NAISSANCE CLIENT sans NI
(SELECT TO_CHAR (MAX (PPH.PPH_DT_NAISSANCE), 'YYYY-MM-DD HH24:MI:SS')
FROM AODS00.TDO_D_ASSIN_PERS_PHYS PPH,
TDO_D_ASSIN_ROLE_PERSONNE RPE
WHERE     RPE.RPE_NUM_CONTR = EVC.EVC_NUM_CONTR
AND RPE.RPE_CD_ROLE LIKE 'O%'
AND RPE.NUM_INTEGRATION <> EVC.NUM_INTEGRATION
AND PPH.NUM_INTEGRATION = RPE.NUM_INTEGRATION
AND PPH.PPH_ID_PERSONNE = RPE.RPE_ID_PERSONNE
AND (RPE.RPE_ID_PERSONNE, rpe.RPE_NUM_CONTR) IN
(  SELECT MAX (RPE2.RPE_ID_PERSONNE), rpe2.RPE_NUM_CONTR
FROM AODS00.TDO_D_ASSIN_ROLE_PERSONNE RPE2
WHERE RPE2.RPE_CD_ROLE LIKE 'O%'
GROUP BY rpe2.RPE_NUM_CONTR))
AS DT2_NAISSANCE
FROM AODS00.TDO_D_ASSIN_EVT_CONTR EVC
WHERE EVC.NUM_INTEGRATION = 597033 AND EVC.FLAG_MAJ_ODS = '1'
ORDER BY 1;
On note que la clause FROM ne contient qu'une seule table (TDO_D_ASSIN_EVT_CONTR) et que la complexité réside dans le fait que le SELECT contient plusieurs scalar subqueries.
La particularité des scalar subqueries dans une clause SELECT est qu'elles sont exécutées autant de fois qu'il y'a de lignes retournées par la requête principale.
Voici une des scalar subqueries executées dans cette requête:
(SELECT MAX (NVL (PPH.PPH_NOM_MARITAL, PPH.PPH_NOM_PATRONYMIQUE))
            FROM AODS00.TDO_D_ASSIN_PERS_PHYS PPH,
                 TDO_D_ASSIN_ROLE_PERSONNE RPE
           WHERE     RPE.RPE_NUM_CONTR = EVC.EVC_NUM_CONTR
                 AND RPE.RPE_CD_ROLE LIKE 'O%'
                 AND RPE.NUM_INTEGRATION = EVC.NUM_INTEGRATION
                 AND PPH.NUM_INTEGRATION = RPE.NUM_INTEGRATION
                 AND PPH.PPH_ID_PERSONNE = RPE.RPE_ID_PERSONNE
                 AND (RPE.RPE_ID_PERSONNE, rpe.RPE_NUM_CONTR) IN
                        (  SELECT MAX (RPE2.RPE_ID_PERSONNE), rpe2.RPE_NUM_CONTR
                             FROM AODS00.TDO_D_ASSIN_ROLE_PERSONNE RPE2
                            WHERE RPE2.RPE_CD_ROLE LIKE 'O%'
                         GROUP BY rpe2.RPE_NUM_CONTR))
La table TDO_D_ASSIN_ROLE_PERSONNE est celle qui apparait dans chacune des scalar subqueries.
Elle apparait même 2 fois à chaque fois: une fois dans la clause FROM principal de la scalar subquery et une autre fois dans la sous-requête de la clause WHERE.

Essayons maintenant de voir ce que donne le plan d'exécution.
Vu que la requête était en train de tourner et afin d'avoir un plan avec des stats d'exécution j'ai récupéré le plan en utilisant le SQL Monitoring (DBMS_SQLTUNE.report_sql_monitor):

Global Stats
=================================================================================
| Elapsed |   Cpu   |    IO    | Concurrency |  Other   | Buffer | Read | Read  |
| Time(s) | Time(s) | Waits(s) |  Waits(s)   | Waits(s) |  Gets  | Reqs | Bytes |
=================================================================================
|   38031 |   36675 |     5.71 |        0.19 |     1350 |    42M | 2094 | 237MB |
=================================================================================


SQL Plan Monitoring Details (Plan Hash Value=132338241)
=======================================================================================================================================================================================================================
| Id    |                 Operation                  |             Name             |  Rows   | Cost  |   Time    | Start  | Execs |   Rows   | Read | Read  | Mem | Activity |      Activity Detail       | Progress |
|       |                                            |                              | (Estim) |       | Active(s) | Active |       | (Actual) | Reqs | Bytes |     |   (%)    |        (# samples)         |          |
=======================================================================================================================================================================================================================
|  -> 0 | SELECT STATEMENT                           |                              |         |       |     38026 |     +6 | 16483 |    16483 |      |       |     |          |                            |          |
|  -> 1 |   SORT AGGREGATE                           |                              |       1 |       |     38026 |     +6 | 16483 |    16483 |      |       |     |          |                            |          |
|     2 |    NESTED LOOPS                            |                              |         |       |           |        | 16483 |          |      |       |     |          |                            |          |
|     3 |     NESTED LOOPS                           |                              |       1 |   194 |           |        | 16483 |          |      |       |     |          |                            |          |
|     4 |      NESTED LOOPS                          |                              |       1 |   193 |     37989 |    +32 | 16483 |        0 |      |       |     |          |                            |          |
|     5 |       VIEW                                 | VW_NSO_1                     |       1 |   192 |     37989 |    +32 | 16483 |      392 |      |       |     |          |                            |          |
|     6 |        SORT GROUP BY                       |                              |       1 |   192 |     37989 |    +32 | 16483 |      392 |      |       |     |          |                            |          |
|     7 |         PARTITION RANGE ALL                |                              |       1 |   192 |     37989 |    +32 | 16483 |      508 |      |       |     |     2.21 | Cpu (195)                  |          |
|     8 |          TABLE ACCESS BY LOCAL INDEX ROWID | TDO_D_ASSIN_ROLE_PERSONNE    |       1 |   192 |     37989 |    +32 |    4G |      508 |  389 |   6MB |     |    11.89 | Cpu (1050)                 |          |
|     9 |           INDEX SKIP SCAN                  | PK_ASSIN_RPE_CONTR_PERS      |       2 |   190 |     37989 |    +32 |    3M |      508 |   49 | 784KB |     |     0.32 | Cpu (28)                   |          |
|    10 |       PARTITION RANGE SINGLE               |                              |       1 |     1 |           |        |   392 |          |      |       |     |          |                            |          |
|    11 |        TABLE ACCESS BY LOCAL INDEX ROWID   | TDO_D_ASSIN_ROLE_PERSONNE    |       1 |     1 |           |        |   392 |          |      |       |     |          |                            |          |
|    12 |         INDEX UNIQUE SCAN                  | PK_ASSIN_RPE_CONTR_PERS      |       1 |       |           |        |       |          |      |       |     |          |                            |          |
|    13 |      PARTITION RANGE SINGLE                |                              |       1 |       |           |        |       |          |      |       |     |          |                            |          |
|    14 |       INDEX UNIQUE SCAN                    | PK_ASSIN_PPH_ID_PERSONNE     |       1 |       |           |        |       |          |      |       |     |          |                            |          |
|    15 |     TABLE ACCESS BY LOCAL INDEX ROWID      | TDO_D_ASSIN_PERS_PHYS        |       1 |     1 |           |        |       |          |      |       |     |          |                            |          |
|    16 |   NESTED LOOPS                             |                              |         |       |           |        | 16483 |          |      |       |     |          |                            |          |
|    17 |    NESTED LOOPS                            |                              |       1 |   191 |           |        | 16483 |          |      |       |     |          |                            |          |
|    18 |     NESTED LOOPS                           |                              |       1 |   190 |     37989 |    +32 | 16483 |        0 |      |       |     |          |                            |          |
|    19 |      VIEW                                  | VW_NSO_2                     |       1 |   190 |     37989 |    +32 | 16483 |      392 |      |       |     |          |                            |          |
|    20 |       SORT GROUP BY                        |                              |       1 |   190 |     37989 |    +32 | 16483 |      392 |      |       |     |          |                            |          |
|    21 |        PARTITION RANGE ALL                 |                              |       2 |   190 |     37989 |    +32 | 16483 |      508 |      |       |     |     2.63 | Cpu (232)                  |          |
|    22 |         INDEX SKIP SCAN                    | PK_ASSIN_RPE_CONTR_PERS      |       2 |   190 |     37989 |    +32 |    4G |      508 |    1 | 16384 |     |     8.89 | Cpu (785)                  |          |
|    23 |      PARTITION RANGE SINGLE                |                              |       1 |       |           |        |   392 |          |      |       |     |          |                            |          |
|    24 |       INDEX UNIQUE SCAN                    | PK_ASSIN_RPE_CONTR_PERS      |       1 |       |           |        |   392 |          |      |       |     |          |                            |          |
|    25 |     PARTITION RANGE SINGLE                 |                              |       1 |       |           |        |       |          |      |       |     |          |                            |          |
|    26 |      INDEX UNIQUE SCAN                     | PK_ASSIN_PMO_ID_PERSONNE     |       1 |       |           |        |       |          |      |       |     |          |                            |          |
|    27 |    TABLE ACCESS BY LOCAL INDEX ROWID       | TDO_D_ASSIN_PERS_MORA        |       1 |     1 |           |        |       |          |      |       |     |          |                            |          |
| -> 28 |   SORT AGGREGATE                           |                              |       1 |       |     38026 |     +6 | 16483 |    16483 |      |       |     |          |                            |          |
|    29 |    PARTITION RANGE SINGLE                  |                              |       1 |     2 |         1 | +35732 | 16483 |        0 |      |       |     |     0.01 | Cpu (1)                    |          |
|    30 |     TABLE ACCESS BY LOCAL INDEX ROWID      | TDO_D_ASSIN_ROLE_PERSONNE    |       1 |     2 |           |        | 16483 |          |      |       |     |          |                            |          |
|    31 |      INDEX RANGE SCAN                      | PK_ASSIN_RPE_CONTR_PERS      |       1 |     1 |           |        |       |          |      |       |     |          |                            |          |
| -> 32 |   SORT AGGREGATE                           |                              |       1 |       |     38026 |     +6 | 16483 |    16483 |      |       |     |          |                            |          |
|    33 |    PARTITION RANGE ALL                     |                              |       1 |   192 |     37989 |    +32 | 16483 |      508 |      |       |     |     2.25 | Cpu (199)                  |          |
|    34 |     TABLE ACCESS BY LOCAL INDEX ROWID      | TDO_D_ASSIN_ROLE_PERSONNE    |       1 |   192 |     37989 |    +32 |    4G |      508 |      |       |     |    12.28 | Cpu (1085)                 |          |
|    35 |      INDEX SKIP SCAN                       | PK_ASSIN_RPE_CONTR_PERS      |       2 |   190 |     37989 |    +32 |    3M |      508 |      |       |     |     0.25 | Cpu (22)                   |          |
| -> 36 |   SORT AGGREGATE                           |                              |       1 |       |     38026 |     +6 | 16483 |    16483 |      |       |     |          |                            |          |
|    37 |    NESTED LOOPS                            |                              |         |       |           |        | 16483 |          |      |       |     |          |                            |          |
|    38 |     NESTED LOOPS                           |                              |       1 |   194 |           |        | 16483 |          |      |       |     |          |                            |          |
|    39 |      NESTED LOOPS                          |                              |       1 |   193 |     37989 |    +32 | 16483 |        0 |      |       |     |          |                            |          |
|    40 |       VIEW                                 | VW_NSO_3                     |       1 |   192 |     37989 |    +32 | 16483 |      392 |      |       |     |          |                            |          |
|    41 |        SORT GROUP BY                       |                              |       1 |   192 |     37989 |    +32 | 16483 |      392 |      |       |     |          |                            |          |
|    42 |         PARTITION RANGE ALL                |                              |       1 |   192 |     37989 |    +32 | 16483 |      508 |      |       |     |     2.58 | Cpu (228)                  |          |
|    43 |          TABLE ACCESS BY LOCAL INDEX ROWID | TDO_D_ASSIN_ROLE_PERSONNE    |       1 |   192 |     37989 |    +32 |    4G |      508 |      |       |     |    11.96 | Cpu (1056)                 |          |
|    44 |           INDEX SKIP SCAN                  | PK_ASSIN_RPE_CONTR_PERS      |       2 |   190 |     37989 |    +32 |    3M |      508 |      |       |     |     0.15 | Cpu (13)                   |          |
|    45 |       PARTITION RANGE SINGLE               |                              |       1 |     1 |           |        |   392 |          |      |       |     |          |                            |          |
|    46 |        TABLE ACCESS BY LOCAL INDEX ROWID   | TDO_D_ASSIN_ROLE_PERSONNE    |       1 |     1 |           |        |   392 |          |      |       |     |          |                            |          |
|    47 |         INDEX UNIQUE SCAN                  | PK_ASSIN_RPE_CONTR_PERS      |       1 |       |           |        |       |          |      |       |     |          |                            |          |
|    48 |      PARTITION RANGE SINGLE                |                              |       1 |       |           |        |       |          |      |       |     |          |                            |          |
|    49 |       INDEX UNIQUE SCAN                    | PK_ASSIN_PPH_ID_PERSONNE     |       1 |       |           |        |       |          |      |       |     |          |                            |          |
|    50 |     TABLE ACCESS BY LOCAL INDEX ROWID      | TDO_D_ASSIN_PERS_PHYS        |       1 |     1 |           |        |       |          |      |       |     |          |                            |          |
| -> 51 |   SORT AGGREGATE                           |                              |       1 |       |     38026 |     +6 | 16483 |    16483 |      |       |     |          |                            |          |
|    52 |    NESTED LOOPS                            |                              |         |       |     37989 |    +32 | 16483 |      508 |      |       |     |          |                            |          |
|    53 |     NESTED LOOPS                           |                              |       1 |   197 |     37989 |    +32 | 16483 |      508 |      |       |     |          |                            |          |
|    54 |      NESTED LOOPS                          |                              |       1 |   196 |     37989 |    +32 | 16483 |      508 |      |       |     |     0.01 | Cpu (1)                    |          |
|    55 |       VIEW                                 | VW_NSO_4                     |       1 |   192 |     37989 |    +32 | 16483 |      392 |      |       |     |          |                            |          |
|    56 |        SORT GROUP BY                       |                              |       1 |   192 |     37989 |    +32 | 16483 |      392 |      |       |     |          |                            |          |
|    57 |         PARTITION RANGE ALL                |                              |       1 |   192 |     37989 |    +32 | 16483 |      508 |      |       |     |     2.24 | Cpu (198)                  |          |
|    58 |          TABLE ACCESS BY LOCAL INDEX ROWID | TDO_D_ASSIN_ROLE_PERSONNE    |       1 |   192 |     37989 |    +32 |    4G |      508 |      |       |     |    12.36 | Cpu (1092)                 |          |
|    59 |           INDEX SKIP SCAN                  | PK_ASSIN_RPE_CONTR_PERS      |       2 |   190 |     37989 |    +32 |    3M |      508 |      |       |     |     0.19 | Cpu (17)                   |          |
|    60 |       PARTITION RANGE ALL                  |                              |       1 |   207 |     37989 |    +32 |   392 |      508 |      |       |     |     0.10 | Cpu (9)                    |          |
|    61 |        TABLE ACCESS BY LOCAL INDEX ROWID   | TDO_D_ASSIN_ROLE_PERSONNE    |       1 |   207 |     37989 |    +32 |  234M |      508 |      |       |     |     0.28 | Cpu (25)                   |          |
|    62 |         INDEX RANGE SCAN                   | I1_TDO_D_ASSIN_ROLE_PERSONNE |       1 |   206 |     37989 |    +32 | 79968 |      508 |   46 | 736KB |     |          |                            |          |
|    63 |      PARTITION RANGE ITERATOR              |                              |       1 |       |     37989 |    +32 |   584 |      508 |      |       |     |          |                            |          |
|    64 |       INDEX UNIQUE SCAN                    | PK_ASSIN_PPH_ID_PERSONNE     |       1 |       |     37989 |    +32 |   584 |      508 |  321 |   5MB |     |          |                            |          |
|    65 |     TABLE ACCESS BY LOCAL INDEX ROWID      | TDO_D_ASSIN_PERS_PHYS        |       1 |     1 |     37989 |    +32 |   566 |      508 |  302 |   5MB |     |          |                            |          |
| -> 66 |   SORT AGGREGATE                           |                              |       1 |       |     38026 |     +6 | 16483 |    16483 |      |       |     |          |                            |          |
|    67 |    NESTED LOOPS                            |                              |         |       |           |        | 16483 |          |      |       |     |          |                            |          |
|    68 |     NESTED LOOPS                           |                              |       1 |   194 |           |        | 16483 |          |      |       |     |          |                            |          |
|    69 |      NESTED LOOPS                          |                              |       1 |   193 |     37989 |    +32 | 16483 |        0 |      |       |     |          |                            |          |
|    70 |       VIEW                                 | VW_NSO_5                     |       1 |   192 |     37989 |    +32 | 16483 |      392 |      |       |     |          |                            |          |
|    71 |        SORT GROUP BY                       |                              |       1 |   192 |     37989 |    +32 | 16483 |      392 |      |       |     |          |                            |          |
|    72 |         PARTITION RANGE ALL                |                              |       1 |   192 |     37989 |    +32 | 16483 |      508 |      |       |     |     2.38 | Cpu (210)                  |          |
|    73 |          TABLE ACCESS BY LOCAL INDEX ROWID | TDO_D_ASSIN_ROLE_PERSONNE    |       1 |   192 |     37989 |    +32 |    4G |      508 |      |       |     |    11.90 | Cpu (1051)                 |          |
|    74 |           INDEX SKIP SCAN                  | PK_ASSIN_RPE_CONTR_PERS      |       2 |   190 |     37989 |    +32 |    3M |      508 |      |       |     |     0.23 | Cpu (20)                   |          |
|    75 |       PARTITION RANGE SINGLE               |                              |       1 |     1 |           |        |   392 |          |      |       |     |          |                            |          |
|    76 |        TABLE ACCESS BY LOCAL INDEX ROWID   | TDO_D_ASSIN_ROLE_PERSONNE    |       1 |     1 |           |        |   392 |          |      |       |     |          |                            |          |
|    77 |         INDEX UNIQUE SCAN                  | PK_ASSIN_RPE_CONTR_PERS      |       1 |       |           |        |       |          |      |       |     |          |                            |          |
|    78 |      PARTITION RANGE SINGLE                |                              |       1 |       |           |        |       |          |      |       |     |          |                            |          |
|    79 |       INDEX UNIQUE SCAN                    | PK_ASSIN_PPH_ID_PERSONNE     |       1 |       |           |        |       |          |      |       |     |          |                            |          |
|    80 |     TABLE ACCESS BY LOCAL INDEX ROWID      | TDO_D_ASSIN_PERS_PHYS        |       1 |     1 |           |        |       |          |      |       |     |          |                            |          |
| -> 81 |   SORT AGGREGATE                           |                              |       1 |       |     38026 |     +6 | 16483 |    16483 |      |       |     |          |                            |          |
|    82 |    NESTED LOOPS                            |                              |         |       |     37989 |    +32 | 16483 |      508 |      |       |     |          |                            |          |
|    83 |     NESTED LOOPS                           |                              |       1 |   197 |     37989 |    +32 | 16483 |      508 |      |       |     |          |                            |          |
|    84 |      NESTED LOOPS                          |                              |       1 |   196 |     37989 |    +32 | 16483 |      508 |      |       |     |          |                            |          |
|    85 |       VIEW                                 | VW_NSO_6                     |       1 |   192 |     37989 |    +32 | 16483 |      392 |      |       |     |          |                            |          |
|    86 |        SORT GROUP BY                       |                              |       1 |   192 |     37989 |    +32 | 16483 |      392 |      |       |     |          |                            |          |
|    87 |         PARTITION RANGE ALL                |                              |       1 |   192 |     37989 |    +32 | 16483 |      508 |      |       |     |     2.30 | Cpu (203)                  |          |
|    88 |          TABLE ACCESS BY LOCAL INDEX ROWID | TDO_D_ASSIN_ROLE_PERSONNE    |       1 |   192 |     37989 |    +32 |    4G |      508 |      |       |     |    11.96 | Cpu (1056)                 |          |
|    89 |           INDEX SKIP SCAN                  | PK_ASSIN_RPE_CONTR_PERS      |       2 |   190 |     37989 |    +32 |    3M |      508 |      |       |     |     0.25 | Cpu (22)                   |          |
|    90 |       PARTITION RANGE ALL                  |                              |       1 |   207 |     37989 |    +32 |   392 |      508 |      |       |     |     0.05 | Cpu (4)                    |          |
|    91 |        TABLE ACCESS BY LOCAL INDEX ROWID   | TDO_D_ASSIN_ROLE_PERSONNE    |       1 |   207 |     37989 |    +32 |  234M |      508 |      |       |     |     0.33 | Cpu (29)                   |          |
|    92 |         INDEX RANGE SCAN                   | I1_TDO_D_ASSIN_ROLE_PERSONNE |       1 |   206 |     37989 |    +32 | 79968 |      508 |      |       |     |          |                            |          |
|    93 |      PARTITION RANGE ITERATOR              |                              |       1 |       |     37989 |    +32 |   508 |      508 |      |       |     |          |                            |          |
|    94 |       INDEX UNIQUE SCAN                    | PK_ASSIN_PPH_ID_PERSONNE     |       1 |       |     37989 |    +32 |   508 |      508 |      |       |     |          |                            |          |
|    95 |     TABLE ACCESS BY LOCAL INDEX ROWID      | TDO_D_ASSIN_PERS_PHYS        |       1 |     1 |     37989 |    +32 |   508 |      508 |      |       |     |          |                            |          |
|    96 |   SORT ORDER BY                            |                              |   25124 | 13231 |           |        |     1 |          |      |       |     |          |                            |          |
| -> 97 |    HASH UNIQUE                             |                              |   25124 | 13223 |     38026 |     +6 |     1 |        0 |      |       |  3M |          |                            |          |
| -> 98 |     PARTITION RANGE SINGLE                 |                              |   39388 | 13082 |     38026 |     +6 |     1 |    16495 |      |       |     |          |                            |          |
| -> 99 |      TABLE ACCESS FULL                     | TDO_D_ASSIN_EVT_CONTR        |   39388 | 13082 |     38026 |     +6 |     1 |    16495 |  978 | 220MB |     |     0.01 | db file scattered read (1) |      36% |
=======================================================================================================================================================================================================================


Predicate Information (identified by operation id):
---------------------------------------------------


   8 - filter("RPE2"."RPE_CD_ROLE" LIKE 'O%')
   9 - access("RPE2"."RPE_NUM_CONTR"=:B1)
       filter("RPE2"."RPE_NUM_CONTR"=:B1)
  11 - filter("RPE"."RPE_CD_ROLE" LIKE 'O%')
  12 - access("RPE"."NUM_INTEGRATION"=:B1 AND "RPE"."RPE_NUM_CONTR"="RPE_NUM_CONTR" AND
              "RPE"."RPE_ID_PERSONNE"="MAX(RPE2.RPE_ID_PERSONNE)")
       filter("RPE"."RPE_NUM_CONTR"=:B1)
  14 - access("PPH"."NUM_INTEGRATION"=:B1 AND "PPH"."PPH_ID_PERSONNE"="RPE"."RPE_ID_PERSONNE")
       filter("PPH"."NUM_INTEGRATION"="RPE"."NUM_INTEGRATION")
  22 - access("RPE2"."RPE_NUM_CONTR"=:B1)
       filter("RPE2"."RPE_NUM_CONTR"=:B1)
  24 - access("RPE"."NUM_INTEGRATION"=:B1 AND "RPE"."RPE_NUM_CONTR"="RPE_NUM_CONTR" AND
              "RPE"."RPE_ID_PERSONNE"="MAX(RPE2.RPE_ID_PERSONNE)")
       filter("RPE"."RPE_NUM_CONTR"=:B1)
  26 - access("PMO"."NUM_INTEGRATION"=:B1 AND "PMO"."PMO_ID_PERSONNE"="RPE"."RPE_ID_PERSONNE")
       filter("PMO"."NUM_INTEGRATION"="RPE"."NUM_INTEGRATION")
  30 - filter("RPE"."RPE_CD_ROLE" LIKE 'O%')
  31 - access("RPE"."NUM_INTEGRATION"=:B1 AND "RPE"."RPE_NUM_CONTR"=:B2)
  34 - filter("RPE"."RPE_CD_ROLE" LIKE 'O%')
  35 - access("RPE"."RPE_NUM_CONTR"=:B1)
       filter(("RPE"."RPE_NUM_CONTR"=:B1 AND "RPE"."NUM_INTEGRATION"<>:B2))
  43 - filter("RPE2"."RPE_CD_ROLE" LIKE 'O%')
  44 - access("RPE2"."RPE_NUM_CONTR"=:B1)
       filter("RPE2"."RPE_NUM_CONTR"=:B1)
  46 - filter("RPE"."RPE_CD_ROLE" LIKE 'O%')
  47 - access("RPE"."NUM_INTEGRATION"=:B1 AND "RPE"."RPE_NUM_CONTR"="RPE_NUM_CONTR" AND
              "RPE"."RPE_ID_PERSONNE"="MAX(RPE2.RPE_ID_PERSONNE)")
       filter("RPE"."RPE_NUM_CONTR"=:B1)
  49 - access("PPH"."NUM_INTEGRATION"=:B1 AND "PPH"."PPH_ID_PERSONNE"="RPE"."RPE_ID_PERSONNE")
       filter("PPH"."NUM_INTEGRATION"="RPE"."NUM_INTEGRATION")
  58 - filter("RPE2"."RPE_CD_ROLE" LIKE 'O%')
  59 - access("RPE2"."RPE_NUM_CONTR"=:B1)
       filter("RPE2"."RPE_NUM_CONTR"=:B1)
  61 - filter(("RPE"."RPE_CD_ROLE" LIKE 'O%' AND "RPE"."NUM_INTEGRATION"<>:B1 AND
              "RPE"."RPE_ID_PERSONNE"="MAX(RPE2.RPE_ID_PERSONNE)"))
  62 - access("RPE"."RPE_NUM_CONTR"="RPE_NUM_CONTR")
       filter("RPE"."RPE_NUM_CONTR"=:B1)
  64 - access("PPH"."NUM_INTEGRATION"="RPE"."NUM_INTEGRATION" AND
              "PPH"."PPH_ID_PERSONNE"="RPE"."RPE_ID_PERSONNE")
       filter("PPH"."NUM_INTEGRATION"<>:B1)
  73 - filter("RPE2"."RPE_CD_ROLE" LIKE 'O%')
  74 - access("RPE2"."RPE_NUM_CONTR"=:B1)
       filter("RPE2"."RPE_NUM_CONTR"=:B1)
  76 - filter("RPE"."RPE_CD_ROLE" LIKE 'O%')
  77 - access("RPE"."NUM_INTEGRATION"=:B1 AND "RPE"."RPE_NUM_CONTR"="RPE_NUM_CONTR" AND
              "RPE"."RPE_ID_PERSONNE"="MAX(RPE2.RPE_ID_PERSONNE)")
       filter("RPE"."RPE_NUM_CONTR"=:B1)
  79 - access("PPH"."NUM_INTEGRATION"=:B1 AND "PPH"."PPH_ID_PERSONNE"="RPE"."RPE_ID_PERSONNE")
       filter("PPH"."NUM_INTEGRATION"="RPE"."NUM_INTEGRATION")
  88 - filter("RPE2"."RPE_CD_ROLE" LIKE 'O%')
  89 - access("RPE2"."RPE_NUM_CONTR"=:B1)
       filter("RPE2"."RPE_NUM_CONTR"=:B1)
  91 - filter(("RPE"."RPE_CD_ROLE" LIKE 'O%' AND "RPE"."NUM_INTEGRATION"<>:B1 AND
              "RPE"."RPE_ID_PERSONNE"="MAX(RPE2.RPE_ID_PERSONNE)"))
  92 - access("RPE"."RPE_NUM_CONTR"="RPE_NUM_CONTR")
       filter("RPE"."RPE_NUM_CONTR"=:B1)
  94 - access("PPH"."NUM_INTEGRATION"="RPE"."NUM_INTEGRATION" AND
              "PPH"."PPH_ID_PERSONNE"="RPE"."RPE_ID_PERSONNE")
       filter("PPH"."NUM_INTEGRATION"<>:B1)
  99 - filter(("EVC"."FLAG_MAJ_ODS"='1' AND "EVC"."NUM_INTEGRATION"=597033))

On constate que la table principale doit retourner 39 388 lignes (colonne Rows Estim) mais qu'au moment où j'ai généré le plan 16 495 lignes avaient été traitées (colonne Rows Actual).

Pour chacune de ces 39 388 lignes retournées Oracle doit exécuter les scalar subqueries présentes dans le SELECT principal.

On voit dans le plan que pour chaque scalar subquery on a un accès à TDO_D_ASSIN_ROLE_PERSONNE via l'index PK_ASSIN_RPE_CONTR_PERS en mode PARTITION RANGE ALL et PARTITION RANGE SINGLE.

Le PARTITION RANGE SINGLE a lieu lorsque la clause de partitionnement (colonne NUM_INTEGRATION) est précisée dans la clause WHERE alors que le PARTITION RANGE ALL a lieu lorsque la clause n'est pas précisée.

Quand on regarde la scalar subquery que j'ai postée plus haut on note que dans la clause WHERE principale on a bien un filtre sur le champ NUM_INTEGRATION d'où l'accès direct à la partition ciblée alors que dans la sous requête le predicat sur le NUM_INTEGRATION n'existe pas.

Le PARTITION RANGE ALL indique que pour récupérer les lignes de la table TDO_D_ASSIN_ROLE_PERSONNE toutes les partitions de l'index sont parcourues (il y'en a 224). Au moment où j'ai généré mon plan, le moteur SQL avait traité 16495 lignes.

Si on multiplie 16495 par 224, on obtient 3 694 880. Ca a l'air de correspondre aux 3 millions qu'on voit dans la colonne Execs du plan pour chaque accès à l'index PK_ASSIN_RPE_CONTR_PERS. 
Si on multiplie ces 3 millions d'accès par le nombre de scalar subqueries et par le fait que 3 requêtes similaires tournaient en même temps, ça donne une explication au problème de performances qu'a connu mon client ce matin.

Dans ce genre de requête, plus on a une table dans la requête principale retournant beaucoup de lignes ainsi qu'un nombre de partitions attaquées dans la scalar sbquery important et plus les performances sont dégradées du fait du nombre d'I/O générés.

Le but de cet article est de rappeler que lorsqu'on décide de partitionner une table et ses index (index locaux) il faut s'assurer que la clause de partitionnement soit bien prise en compte dans les requêtes de l'application car ainsi notre SGBD préféré sera en mesure de n'attaquer que la partition requise en éliminant à la source les partitions inutiles. C'est ce qu'on appelle le "partition pruning". Si vous partitionnez vos tables et index localement et que vos requêtes ne prunent pas vous risquez d'obtenir des problèmes de performances encore plus importants qu'avant d'avoir partitionné. Le problème rencontré par mon client en est un exemple flagrant. D'ailleurs ce problème m'a rappelé un article très intéressant de Mohamed Houri que j'ai lu récemment et qui traite d'un problème du même type.