Religioso castellano y jerarca de la iglesia, era tío de Juan Pacheco y Pedro Girón. Fue nombrado obispo de Sigüenza en 1436 y arzobispo de Toledo en 1446. Era hijo de nobles y sobrino del cardenal obispo de Sigüenza, quien lo tuvo a su vera desde los 11 años. Alfonso heredó al tío en el obispado en tiempos de Juan II.

Hombre de gran cultura, cordial y ambicioso, soñaba en 'la nación hispánica' y siempre se mostró partidario de la unión de Aragón y Castilla.

Su influencia en la vida política del reino de Castilla, en los reinados de Juan II, Enrique IV y con los Reyes Católicos fue enorme; su opinión fue muy variable, acomodándose a las circunstancias.

De él decían que era intrigante, astuto y que olfateaba las tormentas políticas. Era tenaz, ambicioso, orgulloso e impulsivo, un hombre de acción que adoraba entrar en batalla galopando al frente de sus mesnadas.

Carrillo apoyaba a su sobrino Juan Pacheco, cuando éste era el favorito del nuevo rey Enrique IV. Su codicia y ambición le llevaron a enfrentarse al rey, a partir del momento en que éste prefirió a Beltrán de la Cueva como su valido.

A partir de 1462, Carrillo fue el principal instigador de un bando de nobles castellanos que querían destronar a Enrique IV y sustituirle por su hermanastro, el infante Alfonso.