母亲终于辛酸地默许了。

赤手空拳的霍英东，从香港社会的最低层，开始了他的人生奋斗。

霍英东找到的第一份工作，是在一艘旧式的渡轮上当加煤工。可是他的身体实在太单薄了，顾得上铲煤就顾不上开炉门，刚上岗就被辞退了。不久，日本占领军扩建启德机场，需要大量劳工，但工资非常低，每天只给半磅配给米和七角五分钱。而霍英东从他家所在的湾仔乘车到机场，路费就得要八角钱！霍英东没有办法，只好多吃苦跑路，省下这笔交通费。他每天天不亮就起床，步行赶到码头，花一角钱渡过海，然后骑车赶到机场上班。劳工们干的都是苦力活，挖石抬土，消耗很大，但食物却很少，一天只能吃到一碗粥和一块米糕。霍英东总是感到又累又饿。有一天，工头让他去搬重达50加仑的煤油桶，结果被砸断了一根手指！那工头也是中国人，出于同情，把霍英东调去学做汽车修理工。可是没过多久，喜欢冒险的霍英东自己试开汽车，结果把车撞坏了，又被炒了鱿鱼。

那几年中，霍英东简直像俗话说的，"倒霉人喝水都牙痛"。有一天，他听说日本人高价收购海草制造药材，于是用经商的积蓄买了一艘大摩托艇，在炎热的夏天，带着80个渔民到东沙群岛上去采集海草。由于荒岛上缺乏淡水，缺乏食物，而温度又高达40多度，他们过着地狱般的生活，苦苦熬了半年，结果打回的海草卖得的钱，刚刚能够开支，连一分钱都没赚到！

不过，早年的艰辛和挫折，并没有打垮霍英东，他却在不断的失败中，取得了经验，积蓄起力量，等待着机会，他坚信自己总有崛起的一天！当时，在湾仔附近，有一家不大的杂货店，那是他母亲和13个合伙人共同买下的，霍英东曾在那里负责管理店务。那个店虽然小，生意并不差，有时他必须面对十几个顾客，应酬稍不周到，顾客就会掉头离去。他尽量做到眼快、嘴快、手快，留住顾客，做好生意。这种实际训练使他培养出了灵活的处事方法和敏捷的算术头脑，为他以后做大生意打下了坚实的基本功。小店早晨6点就开门，晚上10点才关门，没有星期天，没有节假日，甚至晚上打烊时还留着一扇小门，以备顾客的临时需要。这样做，霍英东自然非常辛苦，但小店的经营却很有起色。

第二次世界大战结束后，霍英东终于以敏感的眼光，捕捉到了一个发财的机会。日本侵略军投降后，留下了很多机器设备，价钱很便宜，但稍加修理就可以用，也可以卖出不坏的价格。霍英东很想做这种生意，于是他成了个读报迷，专门注意报纸上拍卖日军剩余物资的消息，及时赶到现场，以内行的目光挑选出那些有价值的，大批买进，迅速修好后卖出。由于缺少资金，他难以放手大干。有一次，他看准一批机器，并且在竞买中以1.8万港元中标。他兴高采烈地回家请母亲凑钱交款，可是由于他经常冒险，母亲在生意上从来不肯信任他，也不肯给他钱去冒险。霍英东眼睁睁地看着一笔大买卖就要落空，正在着急，幸亏有一个工厂老板也看中了这批货，愿意出4万港元从他手中买下，霍英东净赚了2.2万港元，这是他在那几年中赚到的最大一笔钱了。虽然利润不算太大，但却为霍英东积累了最初的资本。

朝鲜战争结束后，霍英东就预料到，香港航运事业的繁荣，必然会带来金融贸易的发展，而这又将促进商业及住宅楼的开发。于是他抢先把经营重点转向了房地产开发。1954年12月，霍英东拿出自己的120万港元，另向银行贷款160万港元，在香港铜锣湾买下了他的第一幢大厦，并创办了"立信建筑置业有限公司"。开始，他也和别人一样，自己花钱买旧楼，拆了后建成新楼逐层出售。这样当然可以稳妥地赚钱，可是由于资金少，发展就比较慢。他苦苦地思索改革房地产经营的方法，却没有结果。