1916 starb Samuel und wurde auf dem jüdischen Friedhof beigesetzt. Zwei Jahre später nahm der Junggeselle Louis seine Schwester Gittel und ihre beiden Töchter in sein Haus an der Mozartstraße auf. Der Käsehandel florierte. Doch nach der Reichspogromnacht im November 1938 war Schluss. Die Nationalsozialisten machten den Laden dicht.

In der NS-Presse sah sich Louis Victor Schmähungen ausgesetzt. Weil er seine Handelsgesellschaft nicht auflöste und im Schriftverkehr mit den Behörden nicht den jüdischen Beinamen «Isidor» verwendete, wurde er vorgeführt. Als er eine Auseinandersetzung mit einem Mieter wegen eines Ofens hatte, klopfte die Polizei an seine Tür: «Sie sind unangenehm aufgefallen.

» Schließlich landete er wegen «falscher Anschuldigungen» auf der Anklagebank und wurde zu 14 Tagen Gefängnis verurteilt. Die NS-Presse schrieb tags darauf: «Und Jude bleibt Jude, wenn er auch, wie viele seiner Rassegenossen, nicht mehr in den Ghettos des Ostens haust, sondern einmal in Kempten ein ,angesehenes Geschäft hatte, zum ,anständigen Juden wurde.»

Am 1. April wurde Louis Liebmann Victor zusammen mit seinen Nichten und weiteren Kemptener Juden nach Piaski deportiert und ermordet. Sein Bruder Max kam bereits 1941 im Ghetto Lodz um.