Le château a été résidence des évêques d'Orléans, seigneurs de Meung, qui furent maîtres d'ouvrage de toutes les constructions. Le premier château avait été construit adossé à la Collégiale, pour l'évêque Manassès de Garlande au XIIe siècle. Au XIIIe siècle, l'évêque Manassès de Seignelay fit construire à quelques mètres un nouveau château remplaçant le premier. C'était un grand logis cantonné de tours d'angle (3 sont encore visibles, la 4ème est en partie noyée dans les bâtiments ajoutés au XVIIIe siècle).
Au début du XVIe siècle, le corps du XIIIe a été doublé par un corps et une tour d'entrée (l'emplacement du pont-levis est encore visible). Au XVIIIe siècle, deux évêques firent d'importants agrandissements (nouvelle façade postérieure, chapelle, vestibule, pavillon de jardin ...).
Découvrez la fascinante partie souterraine avec chapelle, prisons, salle de torture et cul-de-basse-fosse où les prisonniers (tel François Villon) furent enfermés.
De grands travaux furent menés à partir de 1971 pour restaurer ce château et ses 131 pièces ; 30 sont aujourd'hui entièrement meublées et ouvertes à la visite.