Epoque médiévale 1130 à 1765

Entré dans la famille capétienne avec Pierre 1er de France-Courtenay du fait de son mariage avec Elizabeth de Courtenay, son fils Pierre II cèdera le château à son cousin Philippe II auguste qui l'agrandit et le modifia ainsi que Charles V. Ce palais, château et forteresse restera propriété de la couronne de 1183 à 1791.

L’industrie 1785 à 1804

Louis Philippe 1er d’Orléans et son fils Louis-Philippe II d’Orléans installent deux filatures de coton, l'une dans les écuries et l'autre dans la grande salle au 1er étage. En 1791 elles deviennent et le château la propriété du grand Bailly du duc, l'amiral de Latouche-Tréville qui décède en 1804 sans héritier; le tout est vendu et dépecé dès 1809.

Vente et destruction du château 1810 à 1845

A la suite du décès de l'amiral de Latouche-Tréville son héritière le met en vente. Aucune offre lui est faite. Elle décide alors que les créanciers de son beau-fils exercent leurs droits. Il est vendu aux enchères et acquis par M. Massé, ancien curé d’Amilly, jureur, spéculateur et finalement banquier qui va le vendre pierres par pierres.