百里奚开始在秦国大展其能。他内修国政，教化天下，恩泽施于民众。作为诸侯国的大臣，百里奚以身作则，劳作不乘车马，暑热不张伞盖，在都城里行走不用车马随从，不用甲兵护卫。他这种平易朴素的品行，不仅为百官树立了榜样，也以实际行为感动了百姓。这在还处在春秋战国时期的百姓无疑是一种相当的震撼，他也赢得了时人的赞许和尊敬。

百里奚在用人方面有其独到之处，他举荐有才德的贤士。他早年周游各地，曾结识贤人蹇叔，得到过蹇叔的助益。此时蹇叔就受到了他的推荐，百里奚在举荐蹇叔时说：“我不如我的朋友蹇叔。蹇叔贤能而不为世人了解。当年我在外漫游受困于齐，不得已向别人乞讨，是蹇叔收留了我。我因想到齐君无知那儿做事，是蹇叔阻止了我，使我幸免与无知一起被杀。我到周地，见王子颓喜欢牛，就以养牛去接近他。后来，王子颓想用我，又是蹇叔阻止了我，使我免于被诛。我到虞君手下做事，蹇叔又阻止我。我也知道虞君不会信用我，只是为了那一份俸禄和爵位，暂时留下来，想不到就当了俘虏。从这三件事，我深知蹇叔的贤能。”于是蹇叔被秦穆公认为上大夫，共议国事，为秦国的富强与成就霸业，起了很大的作用。

百里奚在外交上也有一套，他进言秦王施德于诸侯，树立秦国的威信，为秦穆公称霸奠定了基础。秦穆公十三年（前647年）晋国发生饥荒，请求秦国接济粮食，秦穆公询问群臣该怎么办，各位大臣各抒己见，有人认为应当借予，有人认为应当借机伐晋，灭掉晋国。百里奚说“天灾流行，国家代有。救灾、恤邻、道也。”最后，秦穆公采纳了百里奚的意见，运粮食给晋国。秦国粮船从雍都到绛（今山西翼城东南）络绎不绝。这就是历史上著名的“泛舟之役”。晋国的百姓吃到了救命粮，无不感激秦国的恩德。而秦国也从这次借粮中得到了许多小国家的赞许和依附。

秦穆公三十三年（前627年），秦穆公乘晋文公去世的机会，企图插足中原。百里奚和蹇叔劝谏，秦穆公不听，派百里奚的儿子孟明视、蹇叔的儿子西乞术和白乙丙带兵偷袭郑国。结果被晋军截击，秦师全军覆没，三员秦将被俘。后来三将被放回，秦穆公对他们说：“孤以不用百里奚、蹇叔言以辱三子，三子何罪乎？”追思百里奚等人的谏言，不胜懊悔。

百里奚从大夫升任了秦穆公的相国，秦穆公对他极其信任，让其参预所有政事。他在为相期间，秦国干成了几件非常重要的大事，而这些大事都要归功于百里奚。他一时口碑载道，传颂不绝，到了战国秦孝公时，尚有人在相国商鞅前称颂百里奚，说“五羖大夫之相秦”，六七年间，为三大功绩：第一，“三置晋国之君”，晋惠公夷吾即位是借助秦国之力；后与秦反目被擒，又由秦国送回复位；晋文公重耳结束流亡生涯，问国即位，亦是由秦国派兵护送。第二，“一救荆（楚）国之祸”，这件事在历史上已经失去了记载，《史记十二诸侯年表》所载秦穆公二十八年（前632年）会晋、救楚、朝周之事。第三，“发教封内，而巴人致贡；施德诸侯，而八戎来服；由余闻之，款关请见”，安抚境内各族，戎狄亲附，成就秦穆公称霸西戎的大业。特别是由余入秦，对秦霸西戎至为关键，此事亦归于百里奚的德政感化之力，足见秦人对百里奚的追思向慕之情。

秦国是西方的一个强国，地理位置并不占优势，而且有很多的少数民族威胁着秦国的安全，百里奚几乎让这些安全隐患全部消失，为秦国的彻底强大奠定了坚实的基础。