A l’entrée du bief, en face des Zantes, fut construit, vers 1760, par Philippe André de Mcngaud ou Mingaut, seigneur de Sore, régisseur de la princesse de Nassau, et se prétendant marquis de la Hage, un château sans autre caractère que celui de présenter des proportions considérables.

Il fut au commencement du XIX' siècle, la propriété de M. Dubois de Thoinville et de son épouse, née Majastré. La terre de L’Isle comprenant le château, fut adjugée le 28 Janvier 1819 par le Tribunal d’Avallon à Madame Houdaille, née Marie- Louise Dubeau et à son mari, M. Claude Houdaille, négociant en bois de la Ville de Paris.

Madame Veuve Houdaille légua la terre de l’Isle à sa fille aînée, épouse Noël du Payrat, qui en prit possession en 1856. Celle-ci eut deux enfants : Aline, qui épousa le comte de Lupel et Henri Noël du Payrat. Ils se partagèrent sa succession : le château échut à M. du Payrat (Mme de Lupel, sœur de celui-ci, eut la forêt de Champlive entre autres attributions) — A la mort de M. Henri du Payrat, le château revint à sa veuve, née Bordier, du Bignon. Après son décès (1920), ses héritiers vendirent, en 1923, le château à M. AUBRON, notaire à Paris, qui va crée une société civile dénommée "Société Agricole Aubron et Compagnie". En 1956 la famille Aubron passe la main au profit de la "Société Rurale de la Société de Mécanique de Clichy et Compagnie", qui elle même repasse la main à la "Société Rurale de la Société Alsacienne de Mécanique et de Câblerie et Cie" en 1959. Cette dernière reprendra le nom de "Société Civile de L’Isle sur Serein" en 1968.

L'association "A.V.L.I (Association Vacances et Loisirs Isle/Serein)", se porte acquéreur de la propriété "Le Château de L'Isle" en 1986. La société "SA Le Bilboquet" en fait l'acquisition en juin 1992, pour le revendre six mois plus tard aux époux Allen. Depuis ces vingt dernières années la propriété est un lieu d'accueil pour de multiples activités cinématographiques, théâtrales, thérapeutiques et sportives, en court ou long séjours..

Ce château a l’avantage d’être situé dans un très beau parc de seize hectares, dont huit sont devenus propriété de la commune pour y aménager un lotissement, un groupe scolaire, un gymnase et un terrain de camping. Il est clos de murs qui longe le Serein depuis le pont d’Avallon, sis en amont sur la grande route départementale n° 86 d’Avallon à Tonnerre. Sur cette route s’ouvre un portail monumental en plein cintre donnant sur un vaste emplacement carré fermé sur la rue par des bornes de pierre réunies par des barres de fer.