相傳古時，這兒是一馬平川的河谷地，土地肥沃而物產不豐，原因是河兩岸每年都要遭遇幾次洪澇襲擊。洪水來時，澤國一片，淹沒莊稼，沖毀房屋，百姓四處逃荒，災民苦不堪言。一代代繁衍生息在這裏的人們處於水深火熱之中。爲制服洪魔，使百姓免遭洪災之苦，大家投工投勞，聯手在瀧江邊修築了一道小小的河堤。胡銓天資聰明，從小篤學，常聽其父講大禹治水的故事，深知家鄉民衆的疾苦，今聞百姓修堤，年幼的胡銓也爲之振奮，經常徒步五六裏路去修堤工地，爲鄉親們送送茶水，鼓鼓幹勁。當胡銓看到不高的河堤就在眼前時，情不自禁跨上堤，對着空曠的田野吟唱開了，傾訴積壓心頭的憐民之情，抒發愛鄉之感。說也奇怪，胡銓走過的這段河堤竟慢慢「長」高了些許。民工們見此情景，連忙跪下驚呼：「文曲星下凡了……！」豈料，胡銓卻摸不着頭腦，嚇得趕緊跳下堤來，逃也似地離去。

　　胡銓在書香門第的薰陶下，能詩善賦，出口成文，說出的話像先天造就，有很強的預見性，且能美夢成真。鄰裏鄉親都說他才學超衆，金口玉言，日後定是棟樑之材。一次他經河堤去當時屬吉水的富灘做客，巧遇一位雲遊的和尚去富灘上遊的龍王廟取經。兩人同行於剛修的這段矮堤上。該和尚見堤雖長但不高，便隨意道：「抬腳在廬陵（即吉安縣），落地是吉水」。胡銓由衷敬佩鄉親們的勞動，但見和尚睥睨河堤，很是不滿，可又不好與父輩年齡相仿的和尚爭辯，也脫口一句：「去時跨長堤，返期攀天梁」來回敬和尚。和尚見小小年紀的胡銓出口不凡，莊重而不失體面，尊重而不失矜持，內心喜歡上了這小胡銓。一路上兩人一唱一和，談天說地，見物話物，遇人談人，就事論事，暢抒己見，忘年之交隨之結成。

　　這天晚上睡到半夜，胡銓做了個神奇的夢，只見星光燦爛的天際突然間烏雲湧來，電閃雷鳴，狂風大作，有倒海傾江之勢，具天翻地覆之態。睡夢中胡銓見兩路天兵天將爲爭奪空間勢力範圍，在天際間大動幹戈，直打得天昏地暗，人仰馬翻，還各不相讓，最後把天堂大殿上的一根梁木給掀了下來，天堂大廈頃刻坍塌。過了很久，梁木落在河堤上，頓覺地動山搖，震撼環宇。又不知過了多長時間，河堤變成了大山，堤下良田變成了梯田，山間水塘變成爲山中小湖，山上林木繁茂，鬱鬱蔥蔥，山間鳥語花香，流水潺潺，好一個世外桃源美景展現在眼前。

　　胡銓一覺醒來，甚感奇怪，便將夢境告訴村民。大夥結伴趕到河堤邊去察看，果如胡銓所述，哪裏有什麼河堤，分明是一座真真實實的大山，百姓們便將它稱作「天梁山」。此名一直留傳至今。天梁山不僅能夏抵濤擋洪，冬抗滾滾寒流，還爲當地提供了森林資源。據說1945年已投降的日本鬼子順天梁山腳而行，天梁山像一塊天然屏障擋住了鬼子東進北行之路，使山北的百姓免遭鬼子的獸行騷擾。天梁山成了百姓眼中的寶山。

　　十年後，胡銓鄉試中舉。忘年之交的和尚瞭解到這一情況後，更認爲胡銓絕非凡人，並對早年小看河堤之事內疚不已，爲表愧意而在山上修建了一座寺廟，並自爲第一任主持。誠心的和尚把寺廟操持得有模有樣，遠近聞名，因此四面香客絡繹不絕，八方騷人蜂擁而至，香火盛極一時。

　　胡銓雖顛沛流離，半生嶺海，但志苦心勞，好學不厭。對經史百家之學均有所得，而且通曉繪畫藝術。他推崇韓愈、歐陽修，主張以文"傳道"。他的文章，內容豐富，馳騁古今，多長篇大論。代表作如《上高宗封事》，決然表示"不與檜等共戴天"，"願斬三人頭竿之藁街"，並主張"羈留虜使，責以無禮，徐興問罪之師"，"不然，臣有赴東海而死耳，寧能處小朝廷求活耶？"文章一出，羣臣振奮，□佞失色。其他文章，如《應詔言事狀》、 《應詔集議狀》、 《上孝宗封事》、《與王中丞相書》，也都痛快淋漓。題跋如《跋陳了翁帖》，也寫得激昂慷慨。楊萬裏曾爲他的集子作序，說道："先生之文，肖其爲人。其議論閎以挺，其敘記古以則，其代言典而嚴，其書事約而悉。"是中肯之評。

早立卓然
　　胡銓自小潛心學問，強記博覽。建炎二年（1128年），宋高宗在淮海策問進士，胡銓對御題問「治道本天，天道本民」，回答說：「湯、武順從民衆而興起，桀、紂順應天道而滅亡。現在陛下起於幹戈鋒鏑之間，外亂內訌，而策問臣下數十條，都質問於天道，而不傾聽民衆呼聲。」又說：「現在的宰相不比過去的晏殊，樞密、參政又不是過去的韓琦、杜衍、范仲淹。」答問長達一萬多字，高宗看到而驚異，打算把他列爲第一名，有人忌恨他的耿直，移爲第五名。授職撫州（今江西撫州市）軍事判官，未上任，恰逢隆佑太後（孟皇後）爲避金兵逃到贛州，金兵隨後追擊，胡銓以漕司檄文統攝本州幕僚，召募鄉丁輔佐官軍抵禦，受賞轉承直郎。服父喪，從鄉先生蕭楚學習《春秋》。

　　紹興五年（1135年），張浚設都督府，闢舉胡銓任湖北倉屬，胡銓沒有赴任。有詔令到都堂審察，兵部尚書呂祉以賢良方正推薦他，獲高宗賜對，任樞密院編修。

乞斬秦檜
　　紹興八年（1138年），金國派遣張通古、蕭哲二人作爲「江南詔諭使」，攜帶國書，在王倫的陪同下，來到南宋都城臨安進行和談。金使態度極其傲慢，目中無入，對南宋當局百般侮辱。但高宗和秦檜一味苟且偷安，不惜卑躬屈膝與金使議和。此舉激起了朝中大多數大臣與全國軍民的義憤，紛紛起來反對。胡銓反對議和最爲激烈，他上書高宗，對金國議和的陰謀進行揭露，而且要求高宗斬秦檜、王倫、孫近的頭。他還表示，如果不這樣做的話，他寧願投東海而死，也決不在小朝廷裏求活。

　　胡銓這篇奏疏一經傳出，立即產生強烈反響。宜興進士吳師古迅速將此書刻版付印散發，吏民爭相傳誦。金人聽說此事後，急忙用千金求購此書，讀後，君臣大驚失色，連連稱「南朝有人」、「中國不可輕」。

　　奏疏上報之後，秦檜認爲胡銓狂妄兇悖，鼓衆劫持，詔令除名，貶送昭州（今廣西省平樂縣）管制，並降詔傳告朝廷內外。給事中勾龍如淵、諫議大夫李誼、戶部尚書李彌遜、侍御史鄭剛中等人紛紛想方設法出面營救，秦檜迫於公論，只得改派胡銓去廣州監管鹽倉。

甘心流竄
　　紹興九年（1039年），改爲簽書威武軍判官。

　　紹興十二年（1142年），諫官羅汝楫彈劾胡銓飾非橫議，詔令除名，貶送新州（今廣東新會縣）管制。

　　紹興十八年（1148年），新州守臣張棣攻訐胡銓與賓客唱酬對答，誹謗怨恨朝廷，胡銓再被貶至吉陽軍（今海南省崖縣崖城鎮）。

　　紹興二十六年（1156年），秦檜死，胡銓量移至衡州。

　　紹興三十一年（1161年），胡銓獲準隨意居住。

屢議朝政
　　紹興三十二年（1162年），宋孝宗趙昚即位，胡銓復職奉議郎、知饒州。孝宗召他入對，胡銓上奏修德、結民、練兵、觀釁四事。孝宗說：「朕很早就聽說你耿直誠實。」任命他爲吏部郎官。

　　隆興元年（1163年），遷任祕書少監、擢任起居郎。針對自隆興北伐失敗後朝中的議和之風，胡銓多次上表予以反對。

　　當時發生旱災、蝗災和星變，孝宗下詔垂詢政事缺失，胡銓應詔上書數千言，全篇引用《春秋》記載災異的方法，論述政令缺失的情況有十種，而上下情不合的情況也有十種，並說：「堯、舜四目明白，四耳通達，雖有共、鯀之亂，不能堵塞。秦二世以趙高爲腹心，劉邦、項羽橫行而沒有聽說；漢成帝殺死王章，王氏移鼎而沒有聽說；漢靈帝殺死竇武、陳蕃，天下崩潰而沒有聽說；梁武帝信任朱異，侯景斬關奪隘而沒有聽說；隋煬帝信任虞世基，李密稱帝而沒有聽說；唐明皇驅逐張九齡，安、史包藏禍胎而沒有聽說。陛下自從即位以後，號召延攬賓客，與我同時召來的張燾、辛次膺、王大寶、王十朋，現在張燾已離開朝廷了，辛次膺離開朝廷了，王十朋離開朝廷了，王大寶也將離去，只有臣還在。以言論爲避諱，而想堵塞災異的根源，臣知道必然不能做到。」

　　胡銓又說：「過去周世宗被劉旻擊敗，周世宗處斬敗將何徽等七十人，軍威大震，果然打敗劉旻，奪取淮南，撫定三關。一天之內處死七十位將領，哪裏還有將領可以使用？但周世宗終能恢復失地，這難道不是因爲無能懦弱的人離開，而勇敢的人出來了嗎？近來宿州之敗，將士死於敵手的佈滿原野，而敗軍之將以得到的金銀賄賂權貴以求得自解，上天以災異昭示人們，陛下必須信賞必罰以順應天道變化。」他又談論臺諫官說：「今朝廷大臣以箴默不言爲賢，取悅陛下爲忠，導致唐德宗時『賣直』那樣的事發生，正所謂『一言喪邦』。」孝宗說：「不是你，我聽不到這些話。」

　　金朝請求和議，胡銓說：「金朝知道陛下銳意恢復中原，因此用好話欺騙我，希望絕口不要說『和』字。」孝宗將邊防事宜全部交付張浚，而王之望、尹穡等人專主議和排擠張浚，胡銓當廷斥責他們。胡銓兼任權中書舍人、同修國史。張浚兒子張軾被賜金紫，胡銓收繳上奏，認爲不應當這樣對待勳臣子弟。張浚與胡銓交情深厚，胡銓不顧忌這一點。

　　十一月，孝宗就戰和問題向朝臣徵求意見，與會的十四人中，力主和議的佔一半，模棱兩可的佔一半，反對議和的不過胡銓一人。朝廷任命他爲宗正少卿，胡銓請求外任，沒被允許。

　　早先，金將蒲察徒穆、大周仁以泗州地投降，蕭琦率兵一百人投降，詔令都授予他們節度使。胡銓說：「接受投降自古以來都是件棘手的事情，六朝七次得到河南地區，但很快又都喪失；梁武帝時侯景將河南地區來投降，不久臺城淪陷；本朝政和、宣和年間，郭藥師從燕雲來投，不久成爲中國禍患。現在金朝三大將前來歸附，給予高官厚祿，優待他們的部隊，以維繫中原民心，是不錯的。但讓他們駐在都城附近，萬一他們包藏禍心，作爲內應，將來會後悔莫及，希望不要任命他們掌管兵權，把他們的部衆遷移到湖、廣地區以杜絕後患。」

　　隆興二年（1164年），胡銓兼任國子監祭酒，不久任權兵部侍郎，兼中書舍人。八月，孝宗因災異避住偏殿減少膳食，詔令廷臣議論政事缺失和當前急務。胡銓認爲救災是當務之急，同金講和是政事缺失，認爲「今日之議若成，則有可吊者十；若不成，則有可賀者亦十。」並舉「十吊」之事，再次反對議和。

　　當時，金兵向商、秦之地進發，楚荊、昭關、滁等地先後失守，只有高郵守臣陳敏頑強地拒敵於射陽湖（今江蘇東部）。形勢十分危急，胡銓受命以本職措置浙西、淮東海道。一面上表彈劾擁兵不救的大將李寶，敦促他迅速出師救援；另一方面又親自帶兵上前線抗金。時值嚴冬臘月，河水凍結，胡銓身先士卒，手持鐵錘下河擊冰。將士們深受鼓舞，一鼓作氣，奮勇作戰，終於擊退了金兵的入侵。許久後，提舉太平興國宮。

　　乾道初年，胡銓以集英殿修撰的身份知漳州，改任泉州。上朝奏事，留任工部侍郎。入朝對策，說：「少康以一旅之師恢復夏禹基業，今陛下富有四海，不只一旅，而即位已經九年，恢復過去基業的效果還未顯著。」又說：「天下多水旱災害，左右不上報，這是爲國謀畫者的過錯，應該命令有關部門迅速做好防災準備。」請求退休。

　　乾道七年（1171年），任寶文閣待制，留經筵。請求離職。以敷文閣直學士出外任宮觀官。辭行時，還以歸還陵寢、恢復故疆上言，孝宗說：「這是朕的志向。」並問他回到哪裏，胡銓說：「回到廬陵，臣以前在嶺海曾經訓解經書，想寫成此書。」孝宗特賜通天犀帶以示寵榮。

　　胡銓歸去後，獻上所著《易》、《春秋》、《周禮》、《禮記解》，孝宗詔令收藏於祕書省。不久復任原官，升龍圖閣學士、提舉太平興國宮，轉提舉玉隆萬壽宮，進爲端明殿學士。

歸家長逝
　　淳熙六年（1179年），召胡銓歸經筵，胡銓以疾病極力推辭。

　　淳熙七年（1180年），胡銓已屆七十八歲高齡，疾病纏身，不能再上朝，孝宗準許他以資政殿學士的身份致仕。五月，胡銓病危，彌留之際，仍口授遺表，悖悖期望孝宗「捨己爲人，安民和衆」，牢記家仇國恨，收復失地。他自己則願學習唐代安史之亂時忠貞殺敵、以身殉國的張巡，「爲厲鬼以殺賊，死亦不忘！」就在忠君愛民、殺敵報國囑咐聲中，胡銓溘然辭世。孝宗聞訊後，特贈通議大夫。

　　淳熙十三年（1186年），追諡「忠簡」。