嚴(yán)嵩在弘治十八年（明孝宗年號(hào)，公元一千五百零五年）會(huì)試考中進(jìn)士，以庶吉士的身份授翰林院編修，嚴(yán)嵩熟悉大明官場(chǎng)制度，往往能在事前先行揣測(cè)出嘉靖皇帝的意圖，這本是他步步高升，能夠長(zhǎng)期得圣寵的原因之一；然而，人有生、老、病、死，這是自然規(guī)律，誰(shuí)也不可能抗拒；嘉靖末年的嚴(yán)嵩已經(jīng)是八十多歲的老人了，反應(yīng)漸漸遲鈍起來(lái)，對(duì)嘉靖皇帝的意圖再也領(lǐng)悟不出重點(diǎn)，而嚴(yán)黨雖然遍布朝野，也只有嚴(yán)世蕃能夠頂上嚴(yán)嵩的缺，代他來(lái)進(jìn)行票擬。
此時(shí)，嚴(yán)嵩的妻子歐陽(yáng)氏死了，嚴(yán)世蕃按照大明制度規(guī)定，應(yīng)當(dāng)回故鄉(xiāng)去服喪，嚴(yán)嵩向嘉靖皇帝請(qǐng)求讓嚴(yán)世藩留在京城府邸中處理喪事；嘉靖皇帝同意了嚴(yán)嵩的請(qǐng)求，嚴(yán)嵩“權(quán)傾朝野”幾十年，他的老婆死了，自然有很多人前來(lái)吊喪，于是，嚴(yán)世蕃一方面要忙于處理喪事，另一方面嚴(yán)世蕃亦不守規(guī)矩，放縱淫樂(lè)于家，所以嚴(yán)世蕃不得入宮里代嚴(yán)嵩票擬。
嘉靖皇帝對(duì)嚴(yán)嵩提的很多問(wèn)題，不知道怎么答復(fù)，于是嚴(yán)嵩派遣使者去詢問(wèn)嚴(yán)世蕃。嚴(yán)世蕃沉迷于女色，沒(méi)有時(shí)間答復(fù)；太監(jiān)們催促嚴(yán)嵩又很急，嚴(yán)嵩不得已自已作答，往往答非所問(wèn)，他向嘉靖皇帝所進(jìn)青詞，又多半是假手于他人，質(zhì)量不怎么樣，如此反復(fù)幾次，嘉靖皇帝對(duì)嚴(yán)嵩大失所望，于是更加親近徐階，有很多事情不再問(wèn)嚴(yán)嵩，開(kāi)始把他當(dāng)成個(gè)擺設(shè)了。
嚴(yán)嵩害死了那么多忠臣義士，如今失勢(shì)，心里面也很恐懼，于是請(qǐng)徐階飲宴，在宴會(huì)上讓家人圍著徐階下跪，嚴(yán)嵩自己則舉起酒懷敬酒曰：“我上了年經(jīng)，很快就要死了，我家里的這些人就拜托給你了。”徐階連道：“晚生不敢！”又上前一個(gè)個(gè)地將嚴(yán)嵩的家人扶了起來(lái)。
嚴(yán)嵩還不放心，命自己潛伏在徐階家的間諜探聽(tīng)徐階的動(dòng)向，間諜“繪色繪影”地回報(bào)道：”徐階在與徐墦的交談中，好好教訓(xùn)了徐墦一頓，當(dāng)初是相爺提拔的自己，為人要感恩，對(duì)相爺要尊敬?！皣?yán)嵩這才放心。
徐階本是夏言的得意門生，當(dāng)年夏言被嚴(yán)嵩所陷害，徐階心中就深恨嚴(yán)嵩，然而，為了報(bào)復(fù)嚴(yán)嵩，徐階已經(jīng)等了幾十年的時(shí)間，而且久經(jīng)官場(chǎng)的徐階看出嚴(yán)嵩這是在試探自己，徐階以成熟的演技騙過(guò)了嚴(yán)嵩，讓他暫時(shí)放松了對(duì)自己的警惕之心；接下來(lái)，就該徐階來(lái)主動(dòng)進(jìn)攻了。
徐階做了兩件事，第一件事就是讓通過(guò)太監(jiān)們將嚴(yán)世蕃在喪母期間不守孝道、肆意淫樂(lè)的事情傳到嘉靖皇帝耳朵里，嘉靖皇帝聞言，果然“勃然大怒”，徐階知道嘉靖皇帝是最看重孝道的，當(dāng)年，嘉靖皇帝剛剛登基之時(shí)，為了把自己的父親朱佑?xùn)z尊為皇帝、生母為興國(guó)皇太后，他不惜發(fā)動(dòng)大禮儀事件，罷免了托孤大臣楊廷和，將一百三十四位大臣關(guān)押進(jìn)大牢，廷杖官員一百八十多名。
第二件事，就是向嘉靖皇帝推薦方士藍(lán)道行，藍(lán)道行深得嘉靖皇帝信任，有一次，嚴(yán)嵩在上朝前，徐階事先跟藍(lán)道行聯(lián)絡(luò)，告知了他這件事，藍(lán)道行于是說(shuō)今天有奸臣奏事，嘉靖皇帝見(jiàn)嚴(yán)嵩果然上朝，心中便信了幾份藍(lán)道行的話，藍(lán)道行又趨熱打鐵地說(shuō)：“嚴(yán)嵩、嚴(yán)世蕃是奸臣，徐階是忠臣?！?br/>
嘉靖皇帝于是有讓嚴(yán)嵩退休的心思，御史鄒應(yīng)龍本是徐階的學(xué)生，他憤恨于嚴(yán)嵩殘害忠良，一直想找機(jī)會(huì)彈劾嚴(yán)嵩；徐階知道此時(shí)時(shí)機(jī)已到，告訴鄒應(yīng)龍道：“如今的嚴(yán)嵩、嚴(yán)世番就像沒(méi)有根基的高樓大廈，一推就可以倒，楊繼盛、沈煉的仇我一直沒(méi)有忘，如今可以報(bào)了！“
嘉靖四十一年鄒應(yīng)龍上《貪?rùn)M陰臣欺君蠹國(guó)疏》曰：“工部侍郎嚴(yán)世蕃憑藉父權(quán)，專利無(wú)厭。私擅爵賞，廣致賂遺。使選法敗壞，市道公行。群小競(jìng)趨，要價(jià)轉(zhuǎn)鉅。刑部主事項(xiàng)治元以萬(wàn)三千金轉(zhuǎn)吏部，舉人潘鴻業(yè)以二千二百金得知州。嚴(yán)年尤桀黠，士大夫無(wú)恥者呼為鶴山先生。遇嵩生日，年輒獻(xiàn)萬(wàn)金為壽。臧富侈若是，主人當(dāng)何如？尤可異者，世蕃喪母，陛下以嵩年高，特留侍養(yǎng)。世蕃乃聚狎客，擁艷姬，恒舞酣歌，今天下水旱頻仍，南北多警。而世蕃父子方日事掊克，內(nèi)外百司莫不竭民脂膏，塞彼溪壑。民安得不貧？國(guó)安得不?。刻烊藶?zāi)變安得不迭至也？臣請(qǐng)斬世蕃首懸之于市，以為人臣兇橫不忠之戒。茍臣一言失實(shí)，甘伏顯戮。”
嘉靖皇帝看了鄒應(yīng)龍的上疏后，以嚴(yán)嵩溺愛(ài)嚴(yán)世蕃，有負(fù)于首輔職責(zé)的罪名，強(qiáng)行命他退休；嚴(yán)嵩跪下為嚴(yán)世蕃請(qǐng)罪，嘉靖皇帝不聽(tīng)他的解釋，但嘉靖皇帝念在嚴(yán)嵩多年服待自己有功的情份上，仍命有司歲給米百石；嚴(yán)世蕃被逮捕于大理寺獄中，嚴(yán)嵩知道嘉靖皇帝對(duì)自己仍念舊情，于是賄賂太監(jiān)們，告藍(lán)道行狀，藍(lán)道行被關(guān)進(jìn)刑部大牢，嚴(yán)黨想讓藍(lán)道行供認(rèn)是徐階讓他這么做的。藍(lán)道行一直到死也不肯承認(rèn)。
法司最后定了嚴(yán)世蕃確實(shí)有貪污受賄的罪名，判處嚴(yán)世蕃及其子錦衣鵠、鴻，客羅龍文，戍邊遠(yuǎn)。嘉靖皇帝看了這個(gè)判決后，原則上同意，為表達(dá)對(duì)嚴(yán)嵩的寬宏大量，特地赦免嚴(yán)鴻為民，讓他去服侍嚴(yán)嵩，而將嚴(yán)府的奴仆嚴(yán)年禁錮于牢獄，將鄒應(yīng)龍升為通政司參議。
嘉靖四十一年五月，為禍朝廷多年的嚴(yán)嵩、嚴(yán)世蕃父子終于倒臺(tái)，聽(tīng)到這個(gè)消息，兩京十三省的民眾“欣喜若狂”，很多人專門買來(lái)鞭炮慶祝。
嚴(yán)嵩回到江西老家，嘉靖皇帝追念他平日里和自己談?wù)撔薜乐?，如今走了，感覺(jué)自己有些寂寞，于是跟徐階說(shuō)，欲傳位給裕王，退居西苑，專祈長(zhǎng)生。楊階聞言”大驚失色“向嘉靖皇帝力極不可，嘉靖皇帝曰：”卿等不欲，必皆奉君命，同輔玄修乃可。嚴(yán)嵩既退，其子世蕃已伏法，敢更言者，并應(yīng)龍俱斬。“