在他一切疲劳与烦恼之外，更加上他的家族的纠缠。全家都靠了他生活，滥用他的钱，拼命地压榨他。他的父亲不停地为了钱的事情烦闷、呻吟。他不得不费了许多时间去鼓励他，当他自己已是病苦不堪的时候。

“你不要烦躁吧，这并非是人生遭受侮弄的事情……只要我自己还有些东西，我决不令你短少什么……即使你在世界上所有的东西全都丧失了，只要我存在，你必不致有何缺乏……我宁愿自己贫穷而你活着，决不愿具有全世界的金银财富而你不在人世。……如你不能和其余的人一样在世界上争得荣誉，你当以有你的面包自足，不论贫与富，当和基督一起生活，如我在此地所做的那样，因为我是不幸的，我可既不为生活发愁亦不为荣誉——即为了世界——苦恼；然而我确在极大的痛苦，与无穷的猜忌中度日。十五年以来，我不曾有过一天好日子，我竭力支撑你；而你从未识得，也从未相信。神宽恕你们众人！我准备在未来，在我存在的时候，永远同样地做人，只要我能够！”致他的父亲书。（一五○九——一五一二年间）他的三个弟弟都依赖他。他们等他的钱，等他为他们觅一个地位；他们毫无顾忌地浪费他在翡冷翠所积聚的小资产；他们更到罗马来依附他；博纳罗托与乔凡西莫内要他替他们购买一份商业的资产，西吉斯蒙多要他买翡冷翠附近的田产。而他们绝不感激他：似乎这是他欠他们的债。米开朗琪罗知道他们在剥削他；但他太骄傲了，不愿拒绝他们而显出自己的无能。那些坏蛋还不安分守己呢。他们行动乖张，在米开朗琪罗不在家的时候虐待他们的父亲。于是米开朗琪罗暴跳起来。他把他的兄弟们当作顽童一般看待，鞭笞他们。必要时他也许会把他们杀死。

“乔凡西莫内：乔凡西莫内对他的父亲横施暴行。米开朗琪罗写信给他的父亲说：“在你的信中我知道一切和西莫内的行为。十年以来，我不曾有过比这更坏的消息……如果我能够，即在收到信的那天，我将跨上马，把一切都整顿好了。但我既然不能如此做，我便写信给他。但如果他不改性，如果他拿掉家里的一支牙签，如果他做任何你所厌恶的事情，请你告诉我：我将向教皇请假，我将回来。”（一五○九年春）常言道，与善人行善会使其更善，与恶人行善会使其更恶。几年以来，我努力以好言好语和温柔的行动使你改过自新，和父亲与我们好好地过活，而你却愈来愈坏了……我或能细细地和你说，但这不过是空言而已。现在不必多费口舌，只要你确切知道你在世界上什么也没有；因为是我为了上帝的缘故维持你的生活，因为我相信你是我的兄弟和其余的一样。但我此刻断定你不是我的兄弟；因为如果是的，那么你不会威胁我的父亲。你真可说是一头畜生，我将如对待畜生一般对待你。须知一个人眼见他的父亲被威胁或被虐待的时候，应当为了他而牺牲生命……这些事情做得够了！米开朗琪罗于罗马还有两行。十二年以来，我为了全意大利过着悲惨的生活，我受着种种痛苦，我忍受种种耻辱，我的疲劳毁坏我的身体，我把生命经历着无数的危险，只为要帮扶我的家庭；——现在我才把我们的家业稍振，而你却把我多少年来受着多少痛苦建立起来的事业在一小时中毁掉！以后是轮到西吉斯蒙多了：

“我在这里，过的是极度苦闷、极度疲劳的生活。任何朋友也没有，而且我也不愿有……极少时间我能舒舒服服地用餐。不要再和我说烦恼的事情了；因为我再不能忍受分毫烦恼了。”一五○九年十月十七日致西吉斯蒙多书。

末了是第三个兄弟，博纳罗托，在斯特罗齐的商店中服务的，问米开朗琪罗要了大宗款项之后，尽情挥霍，而且以“用得比收到的更多”来自豪：“我极欲知道你的忘恩负义，”米开朗琪罗写信给他道：“我要知道你的钱是从何而来的；我要知道：你在新圣玛利亚银行里支用我的二百二十八金币与我寄回家里的另外好几百金币时，你是否明白在用我的钱，是否知道我历尽千辛万苦来支撑你们？我极欲知道你曾否想过这一切！这便是薄情与妒羡的环境，使米开朗琪罗在剥削他的家庭和不息地中伤他的敌人中间挣扎苦斗。而他，在这个时期内，完成了西斯廷的英雄的作品。可是他花了何等可悲的代价！差一些他要放弃一切而重新逃跑。他自信快死了。一五一二年八月信。他也许愿意这样。

教皇因为他工作迟缓和固执着不给他看到作品而发怒起来。他们傲慢的性格如两朵阵雨时的乌云一般时时冲撞。“一天，”孔迪维述说，“尤利乌斯二世问他何时可以画完，米开朗琪罗依着他的习惯，答道：‘当我能够的时候。’教皇怒极了，把他的杖打他，口里反复地说：‘当我能够的时候！当我能够的时候！’“米开朗琪罗跑回家里准备行装要离开罗马了。尤利乌斯二世马上派了一个人去，送给他五百金币，竭力抚慰他，为教皇道歉。米开朗琪罗接受了道歉。”