Aus der glücklichen Ehe zwischen Carl und Anna Maria Brandhuber gingen elf Kinder hervor, von denen jedoch vier der damaligen hohen Kindersterblichkeit zum Opfer fielen. Die tieftrauernden Eltern ließen ihren kleinen, frühgestorbenen Sprösslingen ein Epitaph setzen, das noch heute in der sogenannten "Brandhuber-Gruft" an sie erinnert. Doch der härteste Schicksalsschlag kam für Anna Maria Brandhuber am 21. Juni 1883, als ihr geliebter Ehemann, mit dem sie so viel erreicht und geschaffen hatte, im Alter von erst 40 Jahren starb. Mit ihr trauerten sieben minderjährige Kinder, darunter der erst drei Jahre zählende jüngste Sohn der Familie, um einen guten Vater, der sich nicht nur als Gastwirt, sondern auch als Zimmermeister - u. a. errichtete er den Turm der katholischen Stadtpfarrkirche St. Nikolaus und den Lustpavillon für Kaiserin Elisabeth nahe dem Marmorschlössel - einen Namen gemacht hatte.