Stalin skarżył się, że Nadia nie jest w jego guście, że to „kobieta z ideałami...

.. śledź z ideałami – sama skóra i kości”. Bardziej odpowiadała jego upodobaniom była kelnerka, „krasawica z zadartym noskiem i wesołym, dźwięcznym śmiechem”, którą zatrudnił jako służącą na daczy. Swietłana podsumowała zwięźle jej zalety: „Pulchna, schludna, zręcznie podawała do stołu i nigdy nie wtrącała się do rozmowy”.
Swietłana była przekonana, że gdy na daczy zjawiła się wspomniana dziewczyna, stosunki seksualne między rodzicami od dawna należały do przeszłości. Nadia miała oddzielną sypialnię, a Stalin nocował zazwyczaj w swym biurze lub w niewielkim pokoiku sąsiadującym z jadalnią. Krążyły plotki, że ma romans z tancerką baletową.
Nie cichły również pogłoski, że to właśnie on zrobił dziecko szesnastoletniej córce członka biura politycznego, Łazara Kaganowicza. Trocki sądził, że poza Swietłaną Stalin ma jeszcze drugą córkę, której matką nie jest Nadia.
Wieczorem 8 listopada 1932 roku sprawy między Stalinem i Nadia przybrały najgorszy możliwy obrót. Na Kremlu odbywało się przyjęcie z okazji piętnastej rocznicy rewolucji. Stalin namawiał żonę do picia, choć wiedział, że jest abstynentką z przekonania. Doszło do sprzeczki i Stalin cisnął jej w twarz zapalony papieros. Upokorzona Nadia wybiegła z pokoju. Długo spacerowała po kremlowskich ogrodach, usiłując się uspokoić. Gdy wróciła do swoich apartamentów, znalazła Stalina w łóżku z żoną jednego z partyjnych dygnitarzy. Wówczas poszła do swego pokoju i zastrzeliła się.
Stalin niezbyt przejął się jej śmiercią. Nad jej otwartą trumną wysyczał z nienawiścią: „Opuściła mnie jak wróg”.
Nie uczestniczył ani w czuwaniu przy zwłokach, ani w pogrzebie, a swoją nienawiść rozciągnął także na rodzinę zmarłej żony. Siostrę Nadii, Annę Siergiejewnę, skazano na dziesięć lat więzienia. Odsiadywała wyrok w pojedynczej celi. Szwagier Stalina, Paweł, zmarł nagle, rzekomo na atak serca, podczas czystek 1938 roku. Jego żonę, Jewgienię, aresztowano pod fałszywym zarzutem próby otrucia Stalina. Męża Anny, Stanisława Redensa, aresztowano i rozstrzelano. Wielu mówiło, że Nadia dobrze zrobiła popełniając samobójstwo, gdyż inaczej także ona padłaby ofiarą czystek.
Tylko córka, Swietłana, cieszyła się miłością ojca, lecz stała się na Kremlu więźniem. Stalin nazywał ją „swoją gosposią”. Zawsze siadywała u jego boku podczas uroczystych obiadów. Przezywał ją pieszczotliwie „wróbelkiem” i „muszką”, a listy kończył zawsze czułym „całuję”. Często ją całował.
Dystans między nimi powiększył się dopiero wtedy, gdy Swietłana przeczytała w „Illustrated London News”, że jej matka wcale nie umarła na zapalenie wyrostka, jak jej wmawiano.
Stalin wpadł we wściekłość, gdy Swietłana zaczęła interesować się mężczyznami. Od tej chwili nie mogła już liczyć na pocałunki – przestała być jego „niewinną, małą dziewczynką”. Kiedy zbuntowała się przeciw ojcowskiej tyranii, Stalin zaczął w obecności kolegów czynić brutalne uwagi na temat jej życia seksualnego. Polecił NKWD śledzić jej kochanków. Gdy dziewczyna była jeszcze uczennicą, odkrył jej romans z filmowcem w średnim wieku, żydowskiego pochodzenia, Aleksiejem Kaplerem. Zażądał od córki całej prawdy. „Wiem o wszystkim – krzyczał wymachując teczką materiałów zgromadzonych przez NKWD – mam tu wszystkie wasze rozmowy telefoniczne!” „Ale ja go kocham” – protestowała Swietłana. „Kochasz?! – wrzasnął Stalin uderzając ją w twarz. – Twój kochaś jest brytyjskim szpiegiem. Został aresztowany”. Kapler spędził pięć lat za kręgiem polarnym, w kopalniach Workuty.
Stalin był zachwycony, gdy rozpadło się pierwsze małżeństwo Swietłany. Jednakże, gdy ponownie wyszła za mąż, zraził się do niej ostatecznie. Po śmierci dyktatora Swietłana uciekła na Zachód. Mieszkała w Wielkiej Brytanii, Ameryce i Szwajcarii. Po czterech nieudanych małżeństwach, w wieku siedemdziesięciu lat, została mniszką, aby – jak mówiła – „odpokutować za grzechy ojca”.
Stalin, przynajmniej na początku, kochał córkę. Wobec synów był zawsze brutalny i bezlitosny. Jakow, syn z pierwszego małżeństwa, był od dziecka traktowany z pogardą. Być może, dlatego, że przypominał Stalinowi o jego gruzińskim pochodzeniu. Jedynie naleganiom Nadii zawdzięczać należy, że chłopiec mieszkał na Kremlu. Prawdopodobnie on sam wolałby inne lokum. „Mały Jaków jest obiektem częstych i surowych kar swego ojca” – relacjonował Trocki.
Gdy w roku 1928 lub 1929 Jakow usiłował bezskutecznie popełnić samobójstwo, Stalin stwierdził złośliwie: „Ha, nawet strzelać celnie nie potrafi”. W czasie drugiej wojny światowej Jakow trafił do niewoli niemieckiej. Ojciec ogłosił go zdrajcą mówiąc, że „żaden prawdziwy Rosjanin nie dałby się schwytać żywcem”. Odmówił wymiany syna na któregoś z jeńców niemieckich i zamknął w więzieniu jego żonę. Jakow zmarł w niewoli w 1943 roku.
Młodszy syn, Wasilij, również był bity. „W domu rzucał chłopca na podłogę i kopał ciężkimi buciorami” – mówiła Swietłana. Po nieudanej karierze w czerwonym lotnictwie Wasilij zmarł jako całkowicie zdegenerowany alkoholik, mając czterdzieści jeden lat. Jego syn zakończył życie w wyniku przedawkowania heroiny, jedna z córek była alkoholiczką, a druga zmarła w szpitalu psychiatrycznym.
Stalin lubił fotografować się z małymi dziećmi, a machina partyjnej propagandy głosiła, że obdarza je szczególną miłością. Często opowiadano wówczas historyjkę o tym, jak to trzyletni chłopiec wrócił do domu z przedszkola i oznajmił ojcu: „Nie jestem już twoim synem”. „Co przez to rozumiesz?!” – wykrzyknął przerażony ojciec. „Nie jesteś moim ojcem – rzekło rezolutnie dziecko – moim ojcem jest Stalin. To on dał mi wszystko, co mam”.