当时公司有1200名雇员，由于内部风气不良，员工之间不团结，许多老工作人员更是喜欢欺压新来者。针对这一弊端，沃森提出三条要求：第一必须尊重每一个人；第二必须为用户提供尽可能好的服务；第三必须创造最优秀、最出色的成绩。他亲自撰写公司的口号和歌曲，创办了公司小报和学校。在公司墙上，标语到处可见："机不可失，时不再来"；"要我学，等于零；我要学，才有用"；"逆水行舟，不进则退"；"一个公司的名气是由公司里有什么样的人决定的"；"我们有不同的思想，不同的工作岗位，但是我们着手工作时，有一件事情必须处理好——那就是人际关系"；"公司的英雄是销售代表，销售人员是大人物"。这些措施，极大地激励了全体员工团结向上的积极性。时至今日，沃森的三条要求依然在IBM公司始终不渝地发扬光大，从而形成了IBM的企业精神。

第一次世界大战结束时，制表机需求量激增。几乎每一家大保险公司和铁路公司都用上了计算制表记录公司生产的霍勒利斯制表机。不久，政府部门也采用了。沃森适时地推出新型的打印一制表组合机，更是受到广大客户的欢迎，定货单堆得老高，产品供不应求。1919年，公司的销售额高达1300万美元，利润也升至210万美元。1924年2月，身为公司总经理的沃森决定将公司更名为国际商用机器公司，简称IBM。是年，沃森刚满50岁。

30年代初，IBM开始打入打字机行业，生产打字机、打孔卡片，以及打孔机、分类机、会计计算机等系列产品，并推出电动打字机、字母制表机等新产品。到30年代末，IBM公司的销售额增长到3950万美元，其利润达到910万美元，竟超过其它4家同类型大公司的总和，一跃而成为全美最大的商用机器公司。

1933年，罗斯福就任美国总统，沃森作为美国商会会长积极支持罗斯福总统的新政，与他建立了良好的私人关系。后来，罗斯福曾先后要沃森担任他的商业部长和驻英国大使，但沃森都婉言谢绝了。因为他不愿意离开由他一手创办的IBM。20多年来，他创立了一个举世无双的研究和生产组织以及一支闻名遐迩的销售队伍，它们不仅是商用机器制造业的楷模，也是当时全美工业甚至世界工业的楷模。IBM的事业如日中天，"IBM人"还需在他的带领下向新的高峰挺进呢！

在二次大战和战后的一段时间里，IBM在打孔卡产品业务方面有了迅速的发展。当时的美军在战争中就开始靠IBM的打孔卡运作，因为现代战争规模巨大情况复杂，很多事情必须及时在战场上记录下来。部队中设有机动打孔队，他们把部队的薪饷制成图表，还用打孔卡记录轰炸的结果、伤亡人数、战俘人数、失踪人数和供应情况。每一个应征入伍的人都有一份打孔卡记录，从正式服役、分配、受训、参战直到退役，打孔卡一直伴随着他。一些IBM的机器在许多机密部门得到应用。美日中途岛海战前，IBM的仪器被用于破译日本人的密码，在海上搜寻德国人的U型潜艇。此外，IBM还被要求生产军需品，如战斗机的机关枪、陆军的卡宾枪、轰炸机上的瞄准器、防毒面具和其它30多种作战用品。靠军用品生意就能使IBM赚上数千万美元，但沃森对此不感兴趣，他不想公司被人指责为发战争横财。因此，他规定，IBM生产军需品的利润不得超过百分之一。尽管如此，二次大战同样使IBM受益无穷，使之真正跻身于大企业的行列。公司的销售额从1940年的4600万美元猛增到1945年的1.4亿美元。

大战结束后，计算机市场初露端倪，一向注重研制新产品的沃森对此极为关注，但由于其发展前途难以预测，IBM对计算机只停留在试验和制造样机阶段。早在1944年，IBM就拨款50万美元，与哈佛大学的霍华德艾肯博士合作，研制出世界上第一台自动顺序控制计算机，名为"马克1号"，每秒钟可以进行3次计算。1946年，IBM又推出第一台电子计算器，这种用卡片编制程序的大型计算器，计算速度比机械输卡速度快9倍。1948年，又推出一台部分电子部分电机的数字计算机，这台机器安装在IBM纽约总部，直接向参观者进行实际操作表演。到此为止，IBM开始涉足电子计算机领域，但还不能说IBM在电子技术和计算机工业技术方面的真正崛起。