Området rundt Zafra har vært befolket i tusener av år. I El Castellar fjellene i nærheten finner en huler med eldgamle inskripsjoner og nær byen er det funnet rester etter et fort fra bronsealderen.

Rundt byen ligger det flere romerske villaer, muligens restene etter den bosetningen som var starten på byen. Zafra ligger mellom Mérida som var hovedstad i den romerske provinsen Lusitania og Sevilla som var hovedstad i den romerske provinsen Baetica. 

I mellomalderen lå Zafra på grensen mellom områdene Sevilla og Badajoz, noe som førte til stadige stridigheter og bygging av forsvarsverker i byen i 1094. Maureren som hersket i byen på den tiden kalte fortet Sajra Abu Hassan. Maurerene kalte byen Safra eller Cafra, og derfra kommer dagens navn Zafra. 

Byen ble tatt fra maurerene i 1229, tapt igjen og erobret for godt av Ferdinan III i 1241. 

Etter at byen ble erobret ble den gitt til Gomez de Figueroa, inntil da en av dronningens tjenere. Lorenzo de Figueroa, Gomez sønn, fikk i perioden 1426 – 1449 bygget en mur rundt byen og en borg som etter hvert ble hans hjem og gjorde byen til senteret i fyrstedømmet Feria. 

Byen ble kraftig modernisert i det 16 og 17 århunder, borgen ble ombygget og en ny kirke ble bygget. 

Zafra har alltid vært en viktig by for de store jordbruksområdene rundt. To av de største markedene som blir holdt i byen har eksistert siden henholdsvis 1395 og 1453.