El Señorío de Batres se crea en el S.XIV con el matrimonio entre D. Pedro Suárez de Toledo (Señor de Casarrubios) y Doña María Ramírez de Guzmán, heredera por entonces del extenso y rico territorio de Batres. Ambos fueron a la vez Señores de Casarrubios y Batres respectivamente.
Les sucede su hijo Pedro Suárez de Guzmán, segundo Señor de Batres, Notario Mayor de Andalucía, casado en primeras nupcias con Doña Elvira de Ayala, padres del tercer Señor de Batres, y en segundas nupcias con Doña Elvira Cevallos. Con los primeros el Señorío de Batres se emancipa del de Casarrubios del Monte, coincidiendo previsiblemente con su declaración como Villa. En esta época se inicia la construcción del Castillo.