女王有她丈夫艾伯特作她的私人秘书，她认为，根据宪法，她有权审阅有关外交方面的所有文件。女王和艾伯特常常改动帕麦斯顿起草的内容，删去或缓和那些带挑衅性的段落。因此，帕麦斯顿有时就不送审而擅自将文件发出。女王和外交大臣的矛盾越来越激化了。

1850 年夏，维多利亚女王要求首相罗素免去帕麦斯顿的外交大臣职务。

罗素说，这办不到，因为帕麦斯顿在议会以至全国都很有威望。女王只好等待时机。

1851 年12 月，帕麦斯顿向路易拿破仑波拿巴——未来的拿破仑三世，祝贺法国政变、王室复辟。这一行动在大多数英国人中不得人心。维多利亚女王和艾伯特抓住这一机会，说服罗素把帕麦斯顿撵出了外交部。但是6 个星期以后，帕麦斯顿在下院搞垮了罗素的政府；离开外交部一年以后，他又进了新首相阿伯丁的内阁，担任内务大臣。由此可见这个帕麦斯顿并不是好对付的。

1854 年，克里米亚战争爆发。英、法支持土耳其对俄国宣战。宣战以前，新首相阿伯丁在近一年中采取息事宁人的态度，设法避免战争。而帕麦斯顿却在内阁中，敦促采取强硬政策。他认为那是阻止俄国进攻土耳其的唯一办法。艾伯特支持首相的政策，并且草拟了一个备忘录，附有一项他认为可以防止战争的计划。艾伯特这一招把自己和女王弄得都很被动。

当时，英国是一片对俄开战叫嚷声，并且要求帕麦斯顿领导这场战争。

谣言纷坛，说艾伯特是俄国间谍，他与俄国人的通讯已被截获，已被逮捕并被送进伦敦塔..攻击艾伯特的小册子也出版了，指出这位女王的大夫应该以叛君罪接受审判。

英法联军在克利米亚失利并且一触即溃的消息传来，由于公众舆论都相信唯有帕麦斯顿能够赢得战争，维多利亚女王被迫违心地于1855 年任命帕麦斯顿为首相。尽管帕麦斯顿上台以后，联军的作战能力改进不大，但战争还是打赢了。而且，多亏帕麦斯顿在缔结和约时的坚决态度，俄国被迫割地给土耳其，并放弃在黑海留驻舰队的权利。

维多利亚女王赞赏帕麦斯顿在和平谈判中的表现，同她的关系开始好转。女王同首相关系好转的另一个原因是，帕麦斯顿成功他说服议会，最终满足女王的愿望，将“女王之夫”这一头衔正式授与艾伯特。

维多利亚女王同首相较好的关系只维持了几年。1864 年，德国和丹麦爆发了战争，帕麦斯顿和他的外交大臣罗素支持丹麦，而女王却同情德国，所以出现了新的紧张关系。帕麦斯顿1865 年就去世了。女王说：“上帝知道，在外交事务方面我们与他有多少分歧。不过，作为首相，他在国内搞得不错，对我也很好。可我从来就不喜欢他。”

1861 年12 月，维多利亚女王经历了个人最大的悲剧：艾伯特死于伤寒，享年42 岁。女王因丈夫之死而身心交瘁，她几次哭昏迷过去。