3年后，原油一再暴跌之时，洛克菲勒却认为投资石油的时候到了，这大大出乎一般人的意料。他与克拉克共同投资4000美元，与一个在炼油厂工作的英国人安德鲁斯合伙开设了一家炼油厂。安德鲁斯采用一种新技术提炼煤油，使安德鲁斯一克拉克公司迅速发展。

这时，洛克菲勒尽管才20出头，做生意己颇为老练。他欣赏那些得冠军的马拉松选手的策略，即让别人打头阵，瞅准时机给他一个出其不意，后来居上才最明智。他在耐心等待，冷静观察一段时间后，决定放手大干了。可他的合作者克拉克这时却举棋不定，不敢冒风险。两个人在石油业务的决策上发生了严重分歧，最后不得不分道扬镳。

他们两人都知道石油前景广阔，在拍卖公司产权时都不肯放弃他们原来的经纪行在安德鲁斯一克拉克公司的股权，彼此喊价的情景十分激烈。两人从500美元开始叫起，谁出价最高将购得股权。洛克菲勒已下定决心要投入石油生意，因此每次都毫不犹豫地喊出比克拉克更高的标价。当标价达到5万美元时，他们都意识到此价格已大大超出公司的实际价值了。但标价仍在上升，6万美元，7万美元……当克拉克无力地喊出7.2万美元时，洛克菲勒面不改色的喊价"7.25万美元"。克拉克哭丧着脸说："我不再抬价了，约翰，这股权是你的了。"然后，他扬长而去。

26岁的洛克菲勒终于取得了胜利。他后来在回忆这个具有决定性意义的时刻时说过："这是我平生所作的最大决定。"从此，他把公司改名为"洛克菲勒-安德鲁斯公司"，满怀希望地干起了他的石油事业。

洛克菲勒迅速扩充了他的炼油设备，日产油量增至500桶，年销售额也超出了百万美元。洛克菲勒的公司成了克利夫兰最大的一家炼油公司。丑小鸭终于变成了白天鹅。

当时的石油业，秩序还十分混乱，生产过剩，质量较差，价格混乱……激烈的角逐已现端倪，洛克菲勒的公司就像汪洋大海中的一叶小舟，随时都有沉没的危险。

高瞻远瞩的洛克菲勒意识到，必须把自己的企业扩大，船大才能抵御惊涛骇浪的冲击。他果断地说服自己的弟弟威廉参加进来，建立了第二家炼油公司，并派他去纽约经营石油进出口贸易，尽快打开欧洲市场。威廉临去纽约前，兄弟俩促膝谈心，踌躇满志地立下了誓言："我们要扩张、再扩张，资金越多，我们发展的本钱也越丰厚，我们要独霸世界！"

虽然当时洛克菲勒对于自己将要创造的"超级帝国"，心中并没有什么明确的概念，但他对企业的未来及个人的前途信心百倍。他坐镇克利夫兰市的总部指挥着全局，应付着一切挑战。

要生产出高质量的产品，扩大市场，首要的是制定质量管理标准，削减成本，降低价格。他向银行贷款，新建了一座堪称"标准"的新炼油厂，生产出标准的煤油，很受人们的欢迎。

从一开始，他就把目光转向国际市场。他在纽约开设的办事处，专门向东海岸和国外出售公司产品。他尽可能削减各种成本，如自制油桶，并买下一家化学公司，自制炼油用的硫酸。为了免付铁路运输费用，他还购买了油船和输油管。年轻时的节约习惯，被洛克菲勒用到了生产中，发挥出巨大的效益。