Önéletrajzi könyvében a családjáról is mesél Whoopi Goldberg. Az amerikai színésznő a Bits and Pieces: My Mother, My Brother and Me című könyvében a nehéz gyerekkoráról ír, amelyet nem könnyített meg az apja.
A férfi még Whoopi gyerekkorában elhagyta őket, és kislányként úgy érezte, hogy soha nem szerette őt. „Anyám nem beszélt arról, hogy felbontaná a házasságukat, mert a felesége maradt addig a napig, amíg (apám) meg nem halt, és nem hiszem, hogy valaha is kudarcként tekintett volna erre a házasságra.”
Annak ellenére sem, hogy mint az anyja elbeszéléséből kiderült, a férfi meleg volt. Hogy ezt hogyan tudta meg az anyja, arról nem akart túl sokat elárulni a lányának, és mindvégig élete szerelmének tekintette a férfit.
A nővérként dolgozó édesanyja mindent megtett, hogy állami segítség és gyermektartás nélkül is tető legyen a fejük felett. A színésznő leírta, az anyja megpróbálta rávenni az apját, hogy fizessen gyerektartást, de az 1960-as években a hatóságok nem igazán segítettek ebben a fekete nőknek, arra pedig nem volt pénzük, hogy ügyvédet fogadjanak.
Az apja állítólag lelkész volt, és szigorú vallásos családban nevelkedett, de sokféle munkája volt, többek között gyémántkereskedőként és postásként is dolgozott. Bár elhidegült a családjától, az apja és a nagyapja is próbált segíteni a még kiskorú gyerekeknek, amikor az édesanyja idegösszeomlást kapott és két évre kórházba került.
Ami a párkapcsolatokat illeti, Whoopi Goldberg három kudarcos házassága után már lemondott a romantikáról, egy időben pedig a szexualitásával kapcsolatos pletykák is forogtak. Erről így beszélt korábban: „A nők ezt kérdezgetik tőlem, amióta csak létezem, de nem vagyok leszbikus. De sokakat ismerek, és játszottam is őket a tévében.”
