1950年隨父母定居香港。父親在上海曾任職船塢公司，並於工餘參加足球比賽，後轉為裁判員，因此認識足球名將李惠堂，經李惠堂介紹，來港後任職九龍巴士公司，當稽查員；並先後兼任九巴甲組足球隊教練，以及足球總會的足球裁判員；惟因壓力太大，時間不長。西西自小就隨父親上足球場，培養了日後觀看足球賽的興趣。她一度是英國阿仙奴亨利時代的球迷。
西西有一個哥哥、兩個妹妹、一個弟弟。來港後進入協恩中學，初中時在中文部，中四後轉入英文部。在香港，因家庭成員多，父親為唯一經濟支柱，所以生活頗艱苦，西西常常為書簿、家政科等費用發愁，這在長篇小說《候鳥》(1991年）中有細緻的抒寫。《候鳥》泰半為一己成長的記憶。
