Attorno all'anno 1000, però, i Saraceni misero a ferro a fuoco la città, che fu rasa al suolo. Gli abitanti furono costretti a scappare e ripararono a Gallipoli; qui si integrarono e per qualche secolo dimenticarono i loro natali.

Nel XIII sec. Carlo D'angiò cominciò a sottoporre Gallipoli a continue angherie, vessazioni e soprusi; per sfuggire a queste gli antichi abitanti di Alezio decisero di rifuggiarsi tra le rovine del loro vecchio paese, costruirono nuove case e dettero vita ad un piccolo villaggio che chiamarono Casal d'Alezio.