Situé dans la vallée de la Jambée au bord d’un chemin de randonnée et entouré d’un grand étang, cet ancien château féodal fut détruit pendant la guerre de Cent Ans par les anglais commandés par Thomas Montaigu, comte de Salisbury, en 1428. Malgré sa position imprenable sur un tertre défendue par les marécages qui l’isolaient, la forteresse fut incendiée par les compagnies anglaises. Thomas Montaigu fut tué peu de temps après lors du siège d’Orléans, après avoir détruit de nombreux châteaux fortifiés sur son passage, parmi lesquels Verneuil et Marchainville.
Le nom de «Gannes » se retrouve dans les légendes et les chansons de geste et serait lié à certains mystères de trahison.
Les murs en partie rasés à l’ouest forment encore aujourd’hui un quadrilatère irrégulier de 120 m de périmètres élevés sur une motte. Le site est une propriété privée inscrite aux Monuments Historiques depuis 1933.
