李治即位后不久，就将他父亲的才人武则天收入宫中，加封为昭仪。后来，武则天是“三千宠爱集一身”，得李治专宠。永徽六年(655年)，高宗受到武则天的蛊惑，想要废黜王皇后，册立武氏为后。为此，李治召太尉长孙无忌、司空李勣、尚书左仆射于志宁以及尚书右仆射褚遂良等人开会，商量废王立武之事。这些人事前得到消息，都觉得李治这样做不靠谱，商议如何劝谏，但谁也不愿放这头一炮。后来，还是褚遂良主动请缨：“我奉先帝遗诏辅佐陛下，如果不尽愚忠，无脸去见先帝。”

正是在那场决定大唐此后几十年国运的关键会议上，褚遂良率先开炮，给李治泼了一瓢冷水。并且，他还祭出一招杀手锏，说武则天本是先帝的人，你这样草率地立她为后，天下人该做何想？这一下子戳到李治的痛处，一时哑口无言。躲在幕后的武氏则，听完褚遂良的这番话，恨不得立刻就将他处死，当即大喊道：“何不扑杀此獠(怎么不杀了这个老南蛮)!”关键时刻，李勣的一句话，将褚遂良等人推入万劫不复的死地：“此乃陛下家事，不合问外人。”

最终，李治强行册立武则天为皇后。武则天上位不久，褚遂良就被武则天两口子赶出朝廷，贬为潭州(今湖南长沙)都督。显庆二年，又贬到桂州(今广西桂林)任都督。武则天还不解气，不久又将他贬为爱州(治所在今越南清化)刺史。两年后，禇遂良在流放地爱州孤独地死去，时年62岁。在他死后的两年多时间里，武则天等人还没有放过他，一方面把他的官爵削掉，另一方面把他的子孙也流放到他故去的流放地，他的两个儿子（褚彦甫、褚彦冲）也先后被武氏杀害于爱州。

俗话说，人之将死，其言也善。武则天毕竟不是个一般的女人，当过皇帝之后，阅遍群臣，她虽然痛恨褚遂良的迂腐，却不得不佩服他的正直与忠诚。所以，在弥留之际，她才留下一道遗诏：“褚遂良子孙亲属当时缘累者，咸令复业。”最终，她与自己的内心达成了和解，不想把懊悔带到另一个世界，这才在死前有了为褚遂良平反之举。