潘孝嚴被免官了，流放沙門島。
原本宋徽宗趙佶是要殺一儆百的，但是各大將門哪裡敢讓皇帝開這樣的頭，紛紛上前勸說，理由是今天是個大喜的日子，仙尊聖母對這門婚事十分滿意，我地球祖星宋國也算是和仙尊結成了親家，實在是不易見血。。。
宋徽宗趙佶也覺得各大家主說得很有道理，那麼就改為流放沙門島吧。
早在北宋建立之初，配隸之人是流放到西北邊境的，從偏遠和環境惡劣來說，這裡確實是首選。不過，等犯人到了那裡後不久，情況就變了。他們大概想反正朝廷也不想讓我們活了，乾脆就投了黨項吧。於是，這些重犯反而成了黨項人的兵員，反過來侵擾邊境。宋太宗一看這樣不行，不能做這種養肥敵人的事了，決定將重犯配隸海島。
沙門島不太大，距離登州有六十裡，距離對麵契丹控製的遼東半島就更遠了，孤懸海外，周圍也有軍隊駐紮，隻要控製住船隻，根本沒人能夠逃脫。這種獨特的地理條件使得這裡逐漸成為配隸重犯的首選。
北宋在島上設沙門島砦（通寨），砦主為最高行政長官。沙門島隔絕外界的環境下，人員卻嚴重超額，生存空間狹小，島上的人缺衣少食，生活非常艱難。
宋仁宗時，京東轉運使王舉元提出：發配沙門島的人，如果按每年配到三百人算，十年就有三千人，去除死亡的，應該還有兩千人，可是如今衣食隻夠一百八十人的。
北宋的幾代皇帝雖然也開恩改善島上口糧，但是到了宋神宗熙寧年間，仍然是“沙門島囚眾，官給糧者才三百人”。在這種情況下，島上餓死人是十分常見的了。
砦主的權力極大，掌握著島上罪人的生殺大權，經常因私、因財濫殺罪人。宋真宗的時候就曾經下詔：“沙門砦押不得濫殺罪人......違者具事以聞，重寘其罪。”然而實際上沙門砦主還是偷偷殺人，畢竟在這個相對封閉的環境，他們才是土皇帝。
這裡的砦主逢年過節就殺個人祭海。當島上的囚犯嚴重超額時，從超額的人中隨機選擇一個扔到海裡殺死是很正常的事。宋神宗熙寧年間，砦主李慶兩年就殺了七百多人，這個數字讓新來的登州知州馬默都大吃一驚。
沙門島條件如此惡劣，但是潘孝文根本就不擔心潘孝嚴，沙門島的砦主隻要腦子不進水，就不敢怠慢了三弟潘孝嚴，況且和潘孝嚴一起發配的還有李大膽等人，有他們在，沙門島上誰說了算還不一定呢。
潘孝文自己也被免官了，但是潘孝文反而心中大喜，這代表著今天的事就到此為止了。
對於將門家主來說，做不做官其實根本就無所謂，就算是做官，也都是掛個閒職，根本就不可能有實權。
就像王詵以前不是一樣是被宋神宗免官，但是王詵酒照喝，小曲照唱，小妾照納，瀟灑依舊。
宋神宗一看不是辦法，最後隻能讓王詵官複原職，為了麵子還假托是蜀國公主在臨死之前所請。蜀國公主真有這麼大的氣量，當初也不會進宮告狀了。