Η παρακμή της Ήλιδας και η σταδιακή εγκατάλειψή της επέρχεται στην ύστερη αρχαιότητα με την επικουρία φυσικών καταστροφών και τις επιδρομές διαφόρων βαρβαρικών φύλων. Καταλυτικός παράγοντας ήταν η επικράτηση και η επιβολή του χριστιανισμού στα χρόνια των Βυζαντινών αυτοκρατόρων που οδήγησαν στην οριστική απαξίωση και εγκατάλειψη του Ιερού της Ολυμπίας με το οποίο η Ήλιδα ήταν ταυτισμένη και σηματοδότησαν το τέλος και για την ίδια την πόλη κατά τον 7ο αι. μ.Χ.
Στους αιώνες που ακολουθούν, τα ρημαγμένα οικοδομικά λείψανα της αρχαίας πόλης σκεπάζονται από τις αποθέσεις του ποταμού Πηνειού και μόνο λιγοστά οικοδομήματα, λαβωμένα από τον χρόνο, θα παραμείνουν ορατά ως μάρτυρες της θέσης που κατείχε στην εύφορη κοιλάδα.
Ως σχεδόν και την σύγχρονη εποχή, τα ερείπια της πόλης, όσα αντιστέκονταν στο χρόνο, πρόσφεραν την πρώτη ύλη για το κτίσιμο νέων οικοδομών σε όλη την γύρω περιοχή, όπως διαπιστώνουμε στα παλιά σπίτια των γειτονικών χωριών (Καλύβια, Αυγείο, Χάβαρι, Άγιος Δημήτριος κ.α.) και πόλεων (Αμαλιάδα, Γαστούνη κ.α.)
Η μεγάλη και εύφορη έκταση που σταδιακά κατέλαβε η πόλη καθώς αναπτυσσόταν στην αρχαιότητα, με την αντίστροφη διαδικασία πρώτα της εγκατάλειψης και έπειτα της φθοράς αποδόθηκε ξανά στην καλλιέργεια προς βιοπορισμό των κατοίκων των όμορων κοινοτήτων, χωρίς όμως ποτέ να σβήσουν εντελώς τα ίχνη του λαμπρού παρελθόντος.
Η αγάπη και ο θαυμασμός για την αρχαιότητα και δη για τα ευρήματα που προέρχονταν από την μόνιμη διοργανώτρια πόλη των Ολυμπιακών Αγώνων της αρχαιότητας τα οποία αντιμετωπίζονταν ως θησαυροί ήταν η αιτία πολλά από αυτά να καταλήξουν, με λαθραίο όπως σήμερα δεχόμαστε τρόπο, σε ιδιωτικές συλλογές και σε μεγάλα μουσεία ευρωπαϊκών χωρών όταν αυτά ιδρύθηκαν.
Για τους ντόπιους κατοίκους των χρόνων της Τουρκοκρατίας, χωρίς γραμματικές γνώσεις οι περισσότεροι, το να βρίσκουν και να πωλούν αρχαιότητες, συνήθως τα καλοφτιαγμένα ηλειακά νομίσματα και διάφορα άλλα τεχνουργήματα του παρελθόντος, ήταν μια πρόσοδος θεμιτή που βοηθούσε στην επιβίωσή τους.