Císařský dvůr ve Vídni svazovala přísná pravidla a staleté tradice. Nejmladší bratr panovníka Ludvík Viktor si z nich ale velkou hlavu nedělal a žil podle vlastních představ. Jeho jméno dlouho provázely společenské přešlapy a vídeňská smetánka o jeho náklonnosti k mužům mluvila jen velmi opatrně.
Svatba nepřipadala v úvahu
Rodina ho v dětství velmi rozmazlovala a brzy si vysloužil přezdívky Luziwuzi nebo Bubi. Vojenská kariéra ani vysoká politika ho vůbec nelákaly. Mnohem více ho přitahovalo umění, sběratelství a pořádání bohatých večírků pro vybranou společnost. Císařovna Alžběta ho vinila z úmyslného vyvolávání rodinných konfliktů a příbuzní se obávali jeho velmi ostrého jazyka.
Matka i bratři se opakovaně pokoušeli najít mu vhodnou manželku. Chtěli ho oženit s vévodkyní Sofií Charlottou a později dokonce s brazilskou dědičkou Isabelou. Představa založení nové dynastie v Jižní Americe ho vůbec nezaujala a svatbu rezolutně odmítl. Nechal si postavit velkolepý palác na vídeňském Schwarzenbergplatzu, kde se mohl naplno věnovat své sběratelské vášni.
O jeho orientaci se ve vysokých kruzích dobře vědělo. Tehdejší tisková cenzura ovšem fungovala velmi spolehlivě a tyto informace se k běžným občanům nikdy nedostaly. Své chování přitom příliš netajil a občas pobouřil hosty přítomností na večírcích v ženských šatech. Císař František Josef I. měl pro bratra velké pochopení a jeho výstřelky dlouhé roky tiše přecházel. Ve svých pamětech ho nešetřila kněžna Nora Fuggerová. Popsala ho jako slabošského muže odpudivého vzhledu. Současně ale přiznala jeho velkou pozornost ke starším dámám, kterým pravidelně posílal květiny k narozeninám.
Potyčka v luxusních lázních
Pohár trpělivosti přetekl na začátku 20. století. Ludvík Viktor pravidelně navštěvoval vídeňské lázně Centralbad, kde často vyhledával společnost mladých mužů. Během jedné z návštěv udělal nevhodný návrh jinému návštěvníkovi. Situace vyústila ve fyzickou potyčku a uražený muž požadoval okamžité zatčení. Přivolaná policie vyslechla svědky a domnělého útočníka propustila bez jakéhokoli trestu.

Událost se nedala ututlat a detaily brzy doputovaly k samotnému panovníkovi. O předání choulostivých informací se údajně postaral následník trůnu František Ferdinand d’Este. Strýci prý nikdy neodpustil ostrou kritiku svého sňatku s hraběnkou Žofií Chotkovou. Císař po lázeňském extempore bratra okamžitě vykázal z Vídně s nařízením trvalého pobytu na zámku Klessheim u Salcburku.
Trest zasáhl jeho každodenní život velmi citelně. Přišel o právo nosit vojenskou uniformu a jeho služebnictvo muselo odložit tradiční purpurové livreje. Kola jeho kočáru přetřeli ze zlaté na černou barvu. V novém působišti se zpočátku těšil velké oblibě, podporoval místní umělce a dál pořádal honosné akce. Armádní velení ale zakrátko vydalo nařízení zakazující místním důstojníkům přijímat jeho pozvánky.
Poslední léta na venkově
Důvodem armádního zákazu byly právě jeho osobní sklony. Na zámku Klessheim se obklopil rozsáhlými sbírkami stříbra, porcelánu i nábytku a zcela se stáhl z veřejného života. V roce 1915 lékaři prohlásili stárnoucího muže za duševně nemocného. Dohled nad ním převzal velmistr Řádu německých rytířů arcivévoda Evžen a každodenní péči zajišťovaly řádové sestry.
Zemřel v šestasedmdesáti letech na začátku roku 1919. Rodné město už nikdy nenavštívil a podle svého přání odpočívá na malém hřbitově v nedalekém Siezenheimu. Rozsáhlé umělecké sbírky se dražily téměř celý rok a rodina se postarala o vymazání jeho jména z dvorních záznamů.

