En este apartado nos interesan los pocos vestigios que se conservan del primitivo castillo, y sobre todo la parte alta de su torre.
Situados en un extremo del palacio se pueden contemplar la citada torre y un fragmento de muro, como únicos restos del castillo construido probablemente, según Guitart Aparicio, en el siglo XV, y que se extendería por el solar donde actualmente se levanta el palacio.
La torre es una construcción cuadrada, de seis metros de lado, con su mitad inferior levantada en mampostería, y la superior en ladrillo. Conserva algunas saeteras en los dos cuerpos y se cubre con tejado a cuatro vertientes, fruto de una modificación posterior.
