V roce 1909 zemřela Stalinova první manželka Jekatěrina Svanidzeová. Tato smrt pro něj byla velkou ztrátou. Již nemladý revolucionář, který nebyl nakloněn vyjadřování emocí, a tím spíše barvitým obratům, hovořil o chladném kameni, který vstoupil do jeho srdce. Kdo ví, jak by se vyvíjely světové dějiny, kdyby tento ledový a tvrdý předmět nerozdrtil hruď budoucího vůdce největší země světa? Konjunktivní nálady jsou však této vědě cizí.
Z jeho milované manželky byl syn Jacoba, teprve dítě. Otec neměl čas starat se o jeho výchovu, měl na práci jiné věci. Chlapec vyrůstal se svou babičkou, matkou Ekaterinou (Kato) v Tbilisi, poté studoval v Moskvě - nejprve ve škole a poté na vysoké škole v elektrotechnice. Těžko se popisuje vztah mezi synem a otcem a materiálů, které o nich svědčí, je velmi málo. Fakta hovoří o neúspěšném pokusu o sebevraždu kvůli nešťastné lásce. Střelu do hrudi Jacobův otec rozzlobeně odsoudil, dům mu byl fakticky odepřen.
Zda sovětský diktátor miloval svého nejstaršího syna, těžko říct. Celá země obdivovala odvahu Stalina, který odmítl zachránit nadporučíka Džugašviliho, zajatého poblíž Vitebska, a prakticky ho odsoudil k smrti. Na druhou stranu všechnolet po smrti svého syna měl vůdce světového komunistického hnutí pod tunikou černé tričko na znamení smutku, skrytého, jako tolik v jeho životě.
Stalinova druhá manželka, Naděžda Sergejevna Allilujevová, byla o patnáct let mladší než její manžel. Dceru profesionálního revolucionáře zaujala image romantického bojovníka, který se po únorové revoluci vrátil z exilu. Tehdy jí bylo pouhých šestnáct a budoucímu generálnímu tajemníkovi Ústředního výboru Všesvazové komunistické strany bolševiků bylo třicet osm.
Aktivní životní pozice, nezkušenost, naivita a záliba v revolučním romantismu štvaly jejího manžela, usilujícího o moc a moc.
Její osobní skromnost dosáhla extrému – mnoho kolegů a vedoucích organizací, ve kterých Naděžda Allilujevová pracovala, ani nevědělo, že je Stalinovou manželkou. Chtěli ji dokonce v roce 1921 vyloučit ze strany, obvinili ji z pasivity a anarchosyndikalismu (tehdy bylo v módě věšet na člověka nejrůznější „ismy“), ale její manžel se postavil. A Nadyusha nepracovala jen tak někde, ale v sekretariátu Lenina, Pravdy a redakce Revoluce a kultury, a dokonce studovala na průmyslové akademii. Ani tam učitelé ani studenti nevěděli, že vedle nich je Stalinova žena.
Měli dvě děti, syna Vasilije v roce 1921 a dceru Svetlanu v roce 1926. O životě druhé rodiny Josepha Vissarionoviče je známo mnohem více než o první. To se podařilo díky knize „Dvacet dopisů příteli“, vydané v roce 1967 na Západě. Dcera kremelského diktátora odhalila mnoho tajemství a podrobněpopsal svůj život.
Stalinova druhá manželka spáchala sebevraždu za záhadných okolností po banketu u Vorošilových u příležitosti 15. výročí Říjnové revoluce. U stolu se manžel choval hrubě a to mohlo vyprovokovat sebevraždu. Existovalo několik verzí událostí, od zapojení Naděždy Allilujevové do protivládního spiknutí až po neustálé bolestivé migrény, ale pravda už není známa.
Na hrobě Stalinovy manželky byl postaven pomník, velmi krásný a výrazný. Kromě jména, příjmení a data je na něm uvedena stranická příslušnost: „člen KSSS (b)“.
