胡儼從小十分好學，對天文、地理、律歷、醫學、佔卜方面的書籍，無不博覽。洪武年間，胡儼以舉人身份被授予華亭縣教諭，能以師道自任。母親去世，他守孝期滿後，改到長垣任教諭，請求給予便地養家，後又改到餘幹縣任職。批準學官請求便地即是從胡儼開始。

　　建文元年（1399年），胡儼被推薦任爲桐城縣知縣。他主持開鑿桐陂水，灌溉田地，使百姓獲利。縣境有虎傷人，胡儼齋戒沐浴後向神靈禱告，老虎便逃走了。桐城縣人把他供祀在朱邑祠。

　　建文四年（1402年），副都御史練子寧把胡儼推薦給朝廷，說：「胡儼具有的知識足以通達天人，他的才智足以參佐帷幄。」等胡儼被召來時，燕王的部隊已渡過了長江。

　　朱棣即位後，說：「胡儼懂得天文，就讓欽天監考考他。」考完之後，欽天監官員上奏說胡儼確實通象緯、氣候之學。不久又因解縉的推薦，授予胡儼翰林檢討之職，與解縉等人一同在文淵閣當值。升爲侍講，再升爲左庶子。胡儼因父親去世守喪，守孝期滿後胡儼又出來任職。胡儼在內閣時，受皇上顧問，他從不與人爭先，但稍嫌戇直。

　　永樂二年（1404年）九月，胡儼被任爲國子監祭酒，便不再參預機務。當時國子監用法嚴峻，國子生請事假回家的，也被判戍邊。胡儼到任後，立即上奏廢除了這條規定。

　　永樂七年（1409年），朱棣幸臨北京，召胡儼赴行。

　　永樂八年（1410年），朱棣率軍北徵，命胡儼以祭酒兼侍講，掌管翰林院事務。輔佐皇太孫留守北京。

　　永樂十九年（1421年），胡儼改任北京國子監祭酒。當時，海內統一已近五十年，朱棣正內興禮樂，外懷要荒之地，公卿大夫彬彬然多是文學之士。胡儼作爲館閣宿儒，朝廷大著多出自他之手，重修《太祖實錄》、《永樂大典》、《天下圖志》，他都擔任總裁官。他主持國學二十餘年，以身率教，一行一動都有師法。

　　洪熙元年（1425年），胡儼以病請求退休，明仁宗朱高熾賜給敕書，獎勵慰勞他，進升他爲太子賓客，仍兼祭酒。退休後，朝廷免除他子孫的賦稅徭役。明宣宗朱瞻基即位後，以禮部侍郎之銜召胡儼，胡儼推辭歸家。

　　胡儼在家二十年，方嶽重臣都以師禮對待他。胡儼與他們交談，從不曾說到他個人的事。他自處淡泊，歲時的衣食纔剛夠需要。當初他任湖廣考官時，看到楊溥的文章，非常驚異，在其上題寫道：「此文作者必能爲董子之正言，而不爲公孫之阿曲。」世人都認爲他知人。

　　正統八年（1443年）八月，胡儼去世，終年八十三歲。