杜月笙一家在香港的日子并不好过,在坚尼地18号的住宅,“不但不很理想,而且不成格局,厅不像厅,房不像房,真正派上用场的简直数不出几间”。而且既无庭园,又缺围墙,外面人朝里看,可谓一目了然。正房只有3间,其余小房都是将就把走廊空隙隔出来的。杜月笙此时由于精神体力的关系,心情萧索,早已失去创办实业、养家糊口、做其他打算的雄心。
一大家人的生活所需及他自己每月两万以上港币的医药费,使经济上更加拮据。光坚尼地一处每月的开销,至少需要6万港币,有时姚玉兰只得自己掏腰包补贴。杜月笙离开上海时,一共拥有两笔钱,一是为子女准备的教育经费10万美元,已经交给宋子良在美国代营生意;另一笔是出卖杜美路那座豪宅,卖给美国领事馆获得45万美元,在上海用去一部分,尚存30万。杜月笙为了避免坐吃山空,曾经朋友介绍,投资四川的蚕丝,结果由于“两航”起义,蚕丝无法运出,又损失了10万美元。杜月笙最后就靠剩下的钱,走完了人生最后的道路,于1951年8月16日病逝于香港,终年63岁。