Μήπως Spark SQL μνήμη cache το αποτέλεσμα για την ίδια την εκτέλεση του ερωτήματος

ψήφοι
0

Όταν τρέχω δύο ίδια ερωτήματα στο Spark SQL στην τοπική λειτουργία. Το δεύτερο ερώτημα τρέχει τρέχει πάντα πιο γρήγορα (υποθέτω μνήμη cache τοποθεσία μπορεί να οδηγήσει αυτό).

Αλλά όταν βλέπω σε Spark UI, θα μάθετε τα δύο ίδια ερωτήματα έχουν διαφορετικό αριθμό των θέσεων εργασίας και αυτό είναι το μέρος με μπερδεύει, για παράδειγμα, όπως παρακάτω.

Όπως μπορείτε να δείτε, η δεύτερη απαιτεί μόνο μία θέση εργασίας (20), το ίδιο κάνει και η πληροφορία αυτή συνεπάγεται Spark SQL μνήμη cache το αποτέλεσμα του ερωτήματος ρητά; Ή αποθηκεύει προσωρινά κάποιο ενδιάμεσο αποτέλεσμα κάποιων θέσεων εργασίας του προηγούμενου χρόνου;

Σας ευχαριστώ για την εξήγηση.

collect at <console>:26+details 2019/10/09 08:28:34 2 s [20]
collect at <console>:26+details 2019/10/09 08:26:01 2.3 min [16][17][18][19]

Δημοσιεύθηκε 09/10/2019 στις 18:49
πηγή χρήστη
Σε άλλες γλώσσες...                            

Cookies help us deliver our services. By using our services, you agree to our use of cookies. Learn more