靳羽西與香港有很深的淵源。她出生在廣西桂林，在香港度過童年和青少年時期，除了無法改變的鄉音，小時候在香港接受的教育，也影響了她一生。

　　靳羽西曾在九龍塘的瑪利諾修院學校就讀，那是一所教會辦的英文學校，她在那裏接受的都是英國人的教育，也打下了很好的英文基礎。而在家中，父親是著名的嶺南派畫家，母親也很傳統，羽西受到的則是很傳統的中國文化教育。父母的言傳身教，給她們四姐妹打下了深深的中國烙印。「我們跟香港一樣，是東西方文化交匯的集合體。」

　　在花季之年，靳羽西離開香港到美國求學。那時候，她對香港的印象不是很好，一是當時香港還比較落後，二是總有寄人籬下的感覺。

　　在她小時候，香港最好的工作都是給外國人做。「當時父母還是覺得我們不需要學很多中文，如果在香港發展，英文也比中文重要，所以雖然我們讀過中文，但基礎不好。因為是英國殖民地，在香港，中國文化是二等文化，英國文化才是一等文化，這影響了我們一代人。」她說這是一個很沉重的感受，只有生活在殖民地時代的人才會有切身體會。

　　但靳羽西也說：「我們不能怪父母。殖民地就是這樣，所有香港人都寄人籬下，大家都想學好英文，出國留學，才能出人頭地。」當時的困境，恰恰也培養了一代又一代香港人吃苦耐勞、自強不息的獅子山精神。