Aan de Kanaaldijk noord-west, op het vroegere grondgebied van Aarle-Rixtel, ter hoogte van sluis 7 en Kleine Overbrug ligt Karelstein. Het pand werd gebouwd in 1840 door jonkheer Carel van Brugghen, genoemd naar zijn grootvader.
Naast het huis lag een fabrieksgebouw, uit 1825, o.a. Piet de Wit had hier een textielbedrijf tot 1909. Toen deed hij het pand over aan strohulzen en cartonnagefabriek Van Dam. Karelstein is nog immer eigendom van Van Dam, de andere helft van het pand, ’t Witte Huis, is diverse keren van eigenaar veranderd. De firma GlassDeco kocht het in 1990. In 1991 werd er brand gesticht en blakerde het witte huis deels zwart.
