SlideServe
Menu
Préférences
© SlideServe · v2026

Optimizing Clustered Query Execution in Multi-Source Data Environments

gagan avatar
15 diapositives · 327 Views · Aug 02, 2014

This document discusses the optimization strategies for executing queries across clustered data sources. It delves into the two-phase approach involving a middleware layer that acts as a query compiler and executor. The focus is on intra-cluster and inter-cluster joins using methods like nested loops and hash joins. Specific applications of this optimization are showcased using real-world data sources such as PART, PARTSUPP, and SUPPLIER. Recommendations for enhancing performance in distributed databases are interpreted alongside a detailed examination of execution modules and their interactions.

Optimizing Clustered Query Execution in Multi-Source Data Environments - slide 1
01 / 15Optimizing Clustered Query Execution in Multi-Source Data Environments
1 / 17

Télécharger la présentation

Optimizing Clustered Query Execution in Multi-Source Data Environments
Une image / un lien ci-dessous est fourni (tel quel) pour télécharger la présentation

Politique de téléchargement : le contenu du site vous est fourni TEL QUEL pour votre information et votre usage personnel ; il ne peut être vendu, concédé sous licence ni partagé sur d’autres sites sans l’accord de son auteur.Le contenu vous est fourni TEL QUEL, pour votre information et votre usage personnel uniquement. Téléchargez la présentation en cliquant sur ce lien. Lors du téléchargement, si vous ne parvenez pas à télécharger une présentation, l’éditeur a peut-être supprimé le fichier de son serveur.Pendant le téléchargement, si vous ne parvenez pas à obtenir une présentation, le fichier a peut-être été supprimé par l’éditeur.

F I N

Plus de contenu associé

Transcription de la présentation
  1. Global Mediator Query Compiler Static plan Query Optimizer Clustered plan Executor feedback Sub-plan Cluster Mediator Cluster Mediator Query Optimizer Query Optimizer Executor Executor Operation plan Operation plan wrapper wrapper wrapper wrapper …… Data Source Data Source Data Source Data Source ClusterA ClusterB

  2. Global Optimizer Cluster 3 Table 7 Table 1 Table 8 Table 2 Table 3 Cluster 2 Cluster 1

  3. (inter-cluster join) Join method: nestloop, Site: Site 1 in Cluster 1 (intra-cluster joins) Cluster Mediator # : Cluster 1 Result Transfer : no (intra-cluster joins) Cluster Mediator # : Cluster 2 Result Transfer : to Site1 table7 table8 table1 table2 table2

  4. (inter-cluster join) (intra-cluster joins) Cluster Mediator # : Cluster 1 (intra-cluster joins) Cluster Mediator # : Cluster 2 table7 table8 table1 table2 table2

  5. Merge on S2 Sort on S1 Sort on S2 Probe on S1 Scan (S1.table2) Build on S1 Build on S2 Scan (S1.table1) Scan (S2.table3)

  6. Data Sources Specific Applications Data Sources

  7. select* from PART, PARTSUPP, SUPPLIER, NATION, CUSTOMER where PART.PARTKEY = PARTSUPP.PARTKEY and PARTSUPP.SUPPKEY = SUPPLIER.SUPPKEY and SUPPLIER.NATIONKEY = NATION.NATIONKEY and NATION.NATIONKEY = CUSTOMER.NATIONKEY LAN/ VPN LAN/ VPN WAN/ Internet PARTSUPP m11 m12 m13 m21 m22 PART SUPPLIER NATION CUSTOMER

  8. m22 m11 m22 m13 PART NATION CUSTOMER PARTSUPP SUPPLIER m11 m22 m22 m22 PART PART m22 m22 PARTSUPP PARTSUPP m13 m21 CUSTOMER CUSTOMER SUPPLIER SUPPLIER NATION NATION Two-phase

  9. Query Application Layer Middleware Layer Query Compiler Query Optimizer Coordinator/ Executor Wrapper for DBMS A …… Wrapper for DBMS 2 Local Execution Layer Interface Interface Executor Executor DBMS A DBMS B

  10. Hash probe Hash build Hash probe Nestloop Hash build index-scan Seq-scan Seq-scan Seq-scan Relation B Relation C Relation D Relation A

  11. Hash probe ON Site 1 Hash build ON Site 1 Hash probe ON Site 1 NestloopON Site 4 Hash build ON Site 1 index-scan Seq-scan Seq-scan Seq-scan Relation C on Site 3 Relation D on Site 4 Relation B on Site 2 Relation A on Site 1

  12. Wrapper Wrapper Wrapper Wrapper Mediator Database 1 File Server Database 2 Web Service Server

  13. (inter-cluster join) (intra-cluster joins, to be determined) Cluster Mediator # : Cluster 1 (intra-cluster joins, to be determined) Cluster Mediator # : Cluster 2 SUPPKEY , NATIONKEY PARTKEY PARTKEY , SUPPKEY NATIONKEY NATIONKEY PART PARTSUPP SUPPLIER NATION CUSTOMER

  14. User input/output CDC machine Global Mediator Pentium M CPU 1.73GHz, 1GB RAM Pentium 4 CPU 2.80GHz, 1GB RAM Cluster 2 Mediator Cluster 1 Mediator Execution Module Execution Module Execution Module Execution Module Execution Module Data Source m13 Data Source m21 Data Source m13 Data Source m12 Data Source m11 Table1 Table6 Table5 Table3 Table4 Table2 Table7 Table8