Obec v údolí řeky Doubravy, jež zde vytvořila hluboký žleb (žlab), od něhož získala svůj název. Ve 13. století zde Jindřich z Lichtenburku zakládá hrad, v jehož držení se vystřídalo hodně majitelů. Na městečko byly Žleby povýšeny roku 1356, a to za držení císaře Karla IV. Do roku 1848 tvořilo žlebské panství 20 vesnic. Původně gotický hrad, pobořený husity, byl před rokem 1450 znovu postaven a poté několikrát upraven. O poslední, novogotickou, přestavbu a také o celkový rozvoj Žlebů se zasloužil Vincenc Karel Auersperg.