但这种优遇并不如何持久。尤利乌斯二世的性格和米开朗琪罗的同样无恒。他一会儿热心某个计划，一会儿又热心另一个绝然不同的计划。另一个计划于他显得更能使他的荣名垂久：他要重建圣彼得大寺。是米开朗琪罗的敌人们怂恿他倾向于这新事业的，那些敌人数不在少，而且都是强有力的。他们中间的首领是一个天才与米开朗琪罗相仿而意志更坚强的人物：布拉曼特，他是教皇的建筑家，拉斐尔的朋友。布拉曼特（ＤｏｎａｔｏＢｒａｍａｎｔｅ，1444—1514），意大利文艺复兴时期的建筑师。在两个理智坚强的翁布里亚伟人与一个天才犷野的翡冷翠人中间，毫无同情心可言。但他们所以决心要打倒他，至少是布拉曼特有此决心。至于拉斐尔，他和布拉曼特交情太密了，不得不和他取一致行动，但说拉斐尔个人反对米开朗琪罗却并无实据。只是米开朗琪罗确言他也加入阴谋：“我和教皇尤利乌斯所发生的争执全是布拉曼特与拉斐尔嫉妒的结果：他们设法要压倒我；实在，拉斐尔也是主动的人，因为他在艺术上所知道的，都是从我这里学去的。”（一五四二年十月米氏给一个不可考的人的信）无疑是因为他曾向他们挑战之故。米开朗琪罗毫无顾忌地指责布拉曼特，说他在工程中舞弊。孔迪维因为他对于米开朗琪罗的盲目的友谊，也猜疑着说：“布拉曼特被逼着去损害米开朗琪罗，第一是因为嫉妒，第二是因为他怕米开朗琪罗对他的判断，他是知道他的过失的人。大家知道，布拉曼特极爱享乐，挥霍无度。不论他在教皇那边的薪给是如何高，他总不够花，于是他设法在工程方面舞弊，用劣等的材料筑墙，于坚固方面是不够的。这情形，大家可以在他所主持的圣彼得建筑中鉴别出来……近来好些地方都在重修，因为已在下沉或将要下沉。”那时布拉曼特便决意要剪除他。

他使他在教皇那边失宠。他利用尤利乌斯二世的迷信，在他面前说据普通的观念，生前建造陵墓是大不祥的。他居然使教皇对于米开朗琪罗的计划冷淡下来，而乘机献上他自己的计划。一五○六年正月，尤利乌斯二世决定重建圣彼得大寺。陵墓的事情搁置了，米开朗琪罗不独被压倒了，而且为了他在作品方面所花的钱负了不少债务。“当教皇转变了念头，而运货船仍从卡拉雷地方把石块运到时，我不得不自己来付钱。同时我从翡冷翠雇来的斫石匠们也到了罗马；正当我在教皇支配给我的屋子中安排他们的住处与用具时，我的钱花完了，我处于极大的窘境中……”（前引一五四二年十月的信）他悲苦地怨艾。教皇不再见他了；他为了工程的事情去求见时，尤利乌斯二世教他的马弁把他逐出梵蒂冈宫。

目击这幕情景的卢克奎主教，和马弁说：“你难道不认识他么？”马弁向米开朗琪罗说：“请原谅我，先生，但我奉命而行，不得不如此。”米开朗琪罗回去上书教皇：“圣父，今天早上我由你圣下的意旨被逐出宫。我通知你自今日起，如果你有何役使，你可以叫人到罗马以外的任何区处找我。”

他把信寄发了，喊着住在他家里的一个石商和一个石匠，和他们说：“去觅一个犹太人，把我家里的一切全卖给他，以后再到翡冷翠来。”

于是他上马出发。一五○六年四月十七日。教皇接到了信，派了五个骑兵去追他，晚上十一点钟时在波吉邦西地方追上了，交给他一道命令：“接到此令，立刻回转罗马，否则将有严厉处分。”米开朗琪罗回答，他可以回来，如果教皇履行他的诺言：否则，尤利乌斯二世永远不必希望再看到他。这一切叙述都是引上述的一五四二年十月一信原文。

他把一首十四行诗有人把这首十四行诗认为是一五一一年作的，但我仍以为放在这个时期较为适当寄给教皇：“吾主，如果俗谚是对的，那真所谓‘非不能也，是不欲也’。你相信了那些谎话与谗言，对于真理的敌人，你却给他酬报。至于我，我是，我曾是你的忠实的老仆，我的皈依你好比光芒之于太阳；而我所费掉的时间并不使你感动！我愈劳苦，你愈不爱我。我曾希望靠了你的伟大而伟大，曾希望你的公正的度量与威严的宝剑将是我惟一的裁判人，而非听从了谎骗的回声。但上天把德性降到世上之后，老是把它作弄，仿佛德性只在一棵枯索的树"枯索的树”隐喻尤利乌斯二世系族的旗号上的图案上企待果实。”