胡直孺的胞兄胡僧孺任河北西路提督，屬江西名士。胡直孺于宋哲宗紹圣四年（1097年）中進士，曾任《九域志》編修官時，為營解元祐黨人，四處奔跑呼號。后來遷任監察御史、平江府知府，擢江湖淮浙發運使，入為戶部侍郎。當時正值金兵大舉南侵，他出謀獻策，初戰告捷。遷工部尚書、龍圖閣學士、知南京兼東京道總管。金兵再犯京師，他又被召勤王，勇敢作戰，斬敵千余名。第二年，金人燃起更大戰火，形成大兵壓境之勢，而朝中主和派卻從中搗鬼，胡直孺所部孤軍作戰，陷入金兵的重重包圍中，直孺不幸被虜。在敵營中，他保持了民族氣節，過了很久才得到機會回朝。

宋徽、欽兩帝被俘后，宋室南渡，高宗即位。建炎二年（1128年），胡直孺任洪州帥兼知府，冒著政治風險，沖開當時“士子不得挾蘇黃稿”的禁令，為詩人黃庭堅征集遺稿。紹興初，遷刑部尚書兼侍讀，在朝論奏十事，高宗非常欣賞，在白團扇上御書杜甫：“文物多師古，朝廷半老儒”的詩句送他。同時又賜田租八百石，以示對他的倚重。隨后又調他做兵部尚書兼擢吏部。可惜的是，他擢升兵部不久就去世了，卒于會稽（今浙江紹興），諭葬云門白水塘。

著有《生還錄》一卷，《西山老人文集》二十四卷，現已失傳。胡直孺生有十一個兒子，其次子相，字作仲，因守墓就家于里溪。明正統、景泰間，其十一世有分遷上馮、尉村、后塢。十二世有分遷越城禹跡寺前、橫路、妙家橋。