Alfonso fue infante y Príncipe de Castilla. Nacido en 1453, en Tordesillas (Valladolid), era hijo de Juan II de Castilla e Isabel de Portugal. Estaba muy unido a su hermana Isabel y despertó la desconfianza del círculo de su hermanastro el rey Enrique IV.
Desde que nació fue la gran esperanza de la Corona, especialmente de su padre, ya que se aseguraba un sucesor ante la falta de descendencia de su hijo mayor.
Todo cambió cuando nació la hija de Enrique IV y Juana de Avis, momento en el que Alfonso pasó a ser un obstáculo entre la corona y Juana la Beltraneja.
Tuvo siempre una gran relación con su hermana Isabel con quien gustaba de recordar su infancia en Arévalo junto con ella, antes de ser arrancados de su madre y llevados a Segovia a la Corte de Enrique IV.
Cuidado a las faldas de su madre y luego protegido por Isabel, era de naturaleza sensible y de cuerpo poco educado para la lucha. Sin embargo, se esmeró en aprender las artes de la guerra y en fomentar la cultura en su círculo aunque no tuvo ni la tenacidad, ni la fortuna de su hermana.
Su amigo más cercano era Gonzalo de Córdoba, de su misma edad pero radicalmente distinto, ya que guerreó desde niño. Gonzalo intentó educarle en la lucha y protegerle.
Heredó de su padre varios señoríos, el título de Condestable de Castilla y el Maestrazgo de Santiago, pero Enrique IV se lo arrebató y lo entregó primero a Beltrán de la Cueva y luego a Juan Pacheco.
Al estallar la rebelión de los nobles, fue utilizado por el bando de Pacheco y pasó mucho tiempo hasta que el infante Alfonso se dio cuenta de la verdad.