杜淹曾舉薦刑部員外郎郅懷道，並道：「懷道在隋朝擔任吏部主事時便有清慎之名。當時煬帝下江都，百官都隨聲附和，唯獨懷道反對。」唐太宗問道：「那你當時的意見呢？」杜淹答道：「我同意去。」太宗道：「對待君主應直言正諫，雖有冒犯也在所不顧。你既然認爲郅懷道的意見正確，爲什麼反而不勸諫呢？」杜淹道：「我官職卑微，而且就算進諫皇帝也不會採納，白白送死於事無補。」太宗道：「如果認爲君主無道，爲何還是要在他的朝廷做官？既然做官，又怎能不匡正他的過失？」

　　太宗又笑問杜淹：「你在隋朝的時候，可以因爲人微言輕不去進諫。那你後來在王世充的朝廷做官，爲什麼仍不勸諫？」杜淹道：「我勸諫過，他不肯採納。」太宗道：「王世充如果修德從善，應當不會滅亡；他既然無道拒諫，你又怎能免禍？」杜淹無言以對。

　　太宗再問：「你現在是宰相，還能極力勸諫嗎？」杜淹道：「臣一定不會隱瞞自己的觀點，必極力勸諫。春秋時期，百裏奚在虞國爲官，虞國滅亡，後在秦國爲官，卻輔佐秦國稱霸天下。臣一直以百裏奚自比。」太宗大笑。

早年經歷

　　杜淹年輕時聰慧明辨，學識廣博，頗有美譽，與同鄉韋福嗣是莫逆之交。他對韋福嗣道：「皇帝喜歡任用隱士，蘇威便是在隱居是被徵闢爲美職。」因此一同隱居在太白山，其實是在沽名釣譽。隋文帝聽聞，極爲憎惡，將二人流放江南。後來，杜淹返回鄉裏，得到雍州司馬高孝基的舉薦，授爲承奉郎，累遷至御史中丞。

歸附唐朝

　　武德二年（619年），杜淹成爲王世充的太尉府官屬。四月，王世充建立鄭國，任命杜淹爲吏部尚書，對他非常信任。當時，杜淹因與侄子杜如晦不睦，便在王世充面前進讒，致使杜如晦的兄長杜某（名不詳）被殺。杜如晦的弟弟杜楚客在鄭國爲官，也遭到囚禁。

　　武德四年（621年），秦王李世民平定王世充，杜淹作爲鄭國高官，被定爲死罪。杜如晦以德報怨，向李世民求情，杜淹得以免死。後來，杜淹因久不升職，欲投靠太子李建成，被封德彝告知房玄齡。房玄齡知道杜淹擅長陰謀，害怕李建成得到他會對李世民不利，便舉薦杜淹爲天策府兵曹參軍、文學館學士。

　　武德七年（624年），慶州刺史楊文幹起兵叛亂，李建成與李世民的矛盾加劇。唐高祖認爲杜淹未能勸導李世民，致使其兄弟失和，將他和東宮屬官王珪、韋挺一同流放巂州（今四川西昌）。李世民知道杜淹無罪，只是受到牽累而已，贈他黃金三百兩。

擔任宰相

　　武德九年（626年），李世民繼位，是爲唐太宗。杜淹被召回朝中，授爲御史大夫，封安吉郡公，食實封四百戶。唐太宗知道杜淹熟知歷代典制，讓他主持東宮儀式簿領的裁訂工作。

　　貞觀元年（627年），杜淹被任命爲吏部尚書，參議朝政，成爲宰相。他前後舉薦四十餘人，後都成爲知名官員。當時，杜淹身兼二職，卻無清廉之譽，又和勳臣長孫無忌不和，因此受到輿論的非議。

病重去世

　　貞觀二年（628年），杜淹患病，唐太宗親自前去探望，並賞賜絹帛三百匹。同年十月，杜淹病逝，追贈尚書右僕射，諡號爲襄。