李若水早年在太學讀書，進士及第後，歷任元城（今大名）尉，平陽府（今山西省臨汾縣）司錄，濟南教授等職。當時徽宗昏庸無能，朝政由蔡京、童貫、高俅等奸臣把持，對北方日漸強大的金國採取妥協投降戰略，「主和」派佔據上風，李若水對此極爲憤慨，多次上書皇帝，深中時病，條陳興國治邦良策。靖康元年（公元1126年），欽宗繼位，加封李若水爲禮部尚書，李若水十分謙遜，不受，改封吏部侍郞。

　　靖康二年（公元1127年），金兵大舉南侵，徽、欽二帝被俘，備受羞辱，李若水仗義執言，怒斥金國統帥粘罕不講信義，粘罕見李若水忠勇可嘉，想收買留用，便許以高官厚祿，對李若水說：「今日順從，明日富貴矣！」李若水嚴辭拒絕，粘罕又命僕從勸慰李若水，說：「公父母春秋高，若少屈，冀得一歸覲！」李若水叱之說：「忠臣事君，不復顧家矣！」李若水大義凜然，罵聲不絕，粘罕無奈，命人割下李若水舌頭，李若水不能用口罵，便怒目而視，以手相指，又被挖目斷手，最後寸磔而死（即凌遲處死），死年三十五歲。

　　南宋高宗即位後，下詔：「若水忠義之節，無比倫，達於聯聞，爲之涕泣」。贈觀文殿學士，諡曰「忠愍」故李若水有「南朝一人」的美稱。