就在沃森父子俩在开发计算机项目上争执不下时，一件令IBM难堪的事发生了。美国人口普查是一项庞大而复杂的信息处理工作，以前都是靠IBM提供的霍勒利斯制表机来进行。而这一次全美人口大普查，美国人口调查局却采用了雷明顿-兰德公司的通用自动计算机UNIVAC，它比IBM的电动式打卡机的统计速度快19倍。因此，人口调查局的负责人直率告知IBM，电动式打卡机已丧失其领先地位，并提出退货。这无异于给老沃森一记响亮的耳光，同时也使他的头脑清醒起来。又恼又羞的他决心迎头赶上，把研制电子计算机的权力交给了小沃森。

小沃森首先广招电子计算机专门人才，直接从各大学请来30多位电器电子专家，建立一个科研小组，由著名数学家赫德负责。然后，他与专家们经过调查研究，确定将研制一种全用途科学计算机，因为那时世界上总共仅有6台电子计算机，但几乎都是一种类型的机器。而他们制造的这种全用途计算机则准备制造二三十台。为了减轻内部的一些反对意见，小沃森为这种计算机取了一个充满爱国情感的名字：国防计算机。通过到美国所有国防工业实验室宣传推销，他们很快获得了十几个客户的订单。思想已有所转变的老沃森也二话没说就批准了这项耗资达300万美元的计划。从1951年春天开始，小沃森便全力以赴地推进国防计算机的研制工作。

1952年1月，年已78岁的老沃森决定退居二线，任董事长，38岁的小沃森正式接任IBM公司的总裁职务。这标志着IBM的商用机器将出现一次质的革命，将从主要生产制表机、打孔卡机、计算器和卡片的公司转而成为一家为研制电子计算机冲锋陷阵的公司。

小沃森上任后，颁布的第一道命令，就是尽快研制出计算机，赶上雷明顿-兰德公司，并超越它。

当年年底，第一台国防计算机，或称IBM701，终于问世了。老沃森对儿子的杰作大加赞扬，并决定大张旗鼓地宣传一番。这台IBM701被运到纽约，安装在总部大厦的底楼。150名顶尖的科学家和商界领袖参加了盛大的开机典礼。不久，小沃森又推出应用于会计系统的IBM702电子计算机、用于雷达防空网络的Q-7计算机。到1954年春天，IBM已经与雷明顿-兰德公司并驾齐驱。尽管在实际安装方面，雷明顿-兰德仍略占上风，领先十几台，但IBM拿到手的订单却比雷明顿-兰德多4倍，仅702型的订单就达50台。在这场竞争中，IBM初战告捷。

接着，小沃森又在拥有领先技术的基础上，加快产品的推陈出新，研制出体积小、用途广且价格适中的新产品来。1954年，IBM开发出650型小型电子计算机，每月的租金只有4000美元，使一般的学校、保险公司、银行都能用得起。就这样，很快在全美掀起了一股650型小型计算机热。此外，他们还推出IBM703、IBM704、IBM705等系列产品，以满足各方面客户的需要。到1956年，IBM已经遥遥领先，使雷明顿-兰德公司望尘莫及，重新占据商用机器业的霸主地位。

IBM充分发挥其强大的推销优势，推销员四处出击，到处宣传。小沃森成了著名杂志《时代》的封面人物。"电脑"成了一个十分时髦的字眼，而电视上看到的电脑却统统都是IBM制造的。

1956年6月，82岁高龄的老沃森因病逝世。这位为IBM奋斗了40余年的创业者，欣慰地看到IBM1955年的总收入已突破5亿美元大关，而且正以每年增长20％的速度剧增，比起他当年接手计算制表记录公司时年营业额不到420万美元来，已增长了100倍。