但是《神宗實錄》的史禍還是降臨了。新上台的章惇、蔡京等人對舊黨主修的這部書大為不滿，從中找了一千多條材料，認為不符合事實，是誣蔑毀謗神宗皇帝的大逆不道之事。於是，凡是參加修《神宗實錄》的人都以"誣毀先帝"的罪名受到貶謪處分。 黃庭堅被貶為涪州別駕，安置黔州。黔州是個非常荒涼僻遠的地方，四周萬山重疊。 黃庭堅的思想是以儒家仁愛之說為核心的，但他同時也接受了禪宗和道家思想很深的影響。儒家的"固窮"和"安貧樂道"說使他能忍受一切挫折，禪家的參悟和道家的相對論又使他把榮辱生死看得輕若鴻毛。再加上他的天性中本有沉著、滑稽和孤芳自賞的特點，所以頗能自我解脫。所以他在黔州時仍然誦詩寫字，沉浸於藝術世界之中。 兩年後，朝廷又借口把他移到戎州，他就住在州南的一個僧寺里。此時黃庭堅已是遭過文獄的驚弓之鳥，再也不敢多作詩文了，他只得把精力都放在研討詩歌和書法的藝術上。 晚年，黃庭堅的生活是極其清貧的，政治上失意遭蔡京等政敵的迫害愈來愈厲害，後終以莫須有的罪名被貶到宜州。 公元1105年3月，一名叫范寥的青年不遠萬里拜訪黃庭堅。後兩人日棋夜語，非常投緣。黃庭堅把自己的經歷寫成日記"乙酉家乘"，贈給這位年輕人。 9月，這位為祖國古典詩歌的發展作貢獻的傑出詩人逝世，終年61歲。
望族：
歷史上誰是第一姓黃的人雖然難以考究定論，但這並不影響黃姓人家拜祭先祖。 海內外許多黃姓子孫便奉福建郡武的黃峭公為始祖。 相傳黃峭公娶有三位妻子，生下21個兒子，有百多個孫子，三百多個曾孫。公元951年，年近八十的黃峭公來了一次大分家，他送18個兒子分赴異地他鄉，要他們自立自強，並贈以八句詩讓他憑此日後認祖歸宗，其中有句云："漫云富貴由天定，三七兒郎當自強。"這是很有哲理的。 黃峭公這一家族大遣散，經千年繁衍，其子孫遍佈全國各地，甚至世界各地，人數達千萬之眾。 在福建和廣東等南方省份，黃氏成了一個族大支繁的姓氏。黃氏其後又分為臨江、淮南、汝南、南陽、零陵、巴西、河陽、新安、金華、邵武、固始、信州旴江等支，約在明、清以後遷往東南亞等地。此外，在壯族、土家族、回族等少數民族中，也有不少黃姓人。 也有不少黃姓族譜把江夏黃香等奉為始祖的。 黃姓人家傳統的對聯： 忠孝兩全，天下無雙 ，說的就是黃香。史載"香九齡，能溫席，孝於親，所當執"，是說他九歲時失去母親後為孝順父親，夏天就給父親打扇納涼，冬天就自己先睡熱了被窩然後讓父親安歇。 相傳黃香有八個兒子，兒子黃瓊有14個孫子，人丁興旺。黃香後裔遷居南陽，就是諸葛亮耕田的地方。老將黃忠，還有諸葛亮的妻子據說都是黃香之後。傳說諸葛亮妻子黃氏長相雖不美，但聰敏、博學、賢淑，是名副其實的賢內助，印證了當代 成功的男人後面總有位女人 的俗語。 江夏黃姓，據說到了唐宋，出現了由盛轉衰現象。就在黃香墓的斷碑附近，有個姚姓村落，村人自稱是黃香後人，因祖上有人犯罪，親族怕受株連，便改姓為姚。 不過，歷史上並沒有黃姓遭過大迫害的記載，也難以證明黃姓因此由盛轉衰。
