乾隆南巡到杭州，杭世駿也參與迎駕，乾隆見了他問道：「你靠什麼生活？」杭答：「臣世駿開舊貨攤。」皇帝不懂，問道：「什麼叫開舊貨攤？」杭解釋道：「把買來的破銅爛鐵陳列在地上賣掉。」皇帝聽了大笑，寫了「買賣破銅爛鐵」六個大字賜他。

　　據傳杭世駿爲人耿介，敢於直言。時值天下大旱，乾隆特開「陽城馬周科」，測驗翰林院官。意在選拔人才，幫他治理國家。杭世駿在這次試卷中直言不諱，條陳建議，提出「朝廷用人」不要以滿漢劃線，應該泯滅「滿漢之見」。「滿州賢才雖多，較之漢人十之三四。天下巡撫常滿漢參半，總督則漢人無一也。何內滿而外漢也？」還說：「三江兩浙，天下人才淵藪，邊隅之士，間出者無幾。今則果於用邊之人，不計其才，不計其操履，不計其資俸，而十年不調者，皆江浙之人，豈非有意見畛域？」話說得懇切。

　　實際乾隆開科，取治國幹才，卻是葉公好龍，一旦真的聽到「直言」，就怒不可遏：「怒抵其卷於地者再，復取視之」。傳說人家幫他說話：他是狂士。乾隆便說：「這種狂士，只能收賣廢銅爛鐵！」杭世駿由是罷歸田裏。他回到杭州，在鬧市擺了一個地攤，布招大書：

　　「奉旨收賣廢銅爛鐵」。一時觀者如堵。

　　記載，乾隆問杭世駿說：「你性情改過麼？」世駿回答：「臣老矣，不能改也。」乾隆問：「何以老而不死？」回答說：「臣尚要歌詠太平。」笑了笑。龔自珍《杭大宗逸事狀》中則說：「癸已歲，純皇帝南巡，大宗迎駕湖上，上顧左右曰：『杭世駿尚未死麼？』大宗返舍，是夕卒。」不知是真是假。

　　早年升遷

　　杭世駿自幼家境貧寒，勤奮好學，年輕時偶爾過訪友人館舍，見異文祕冊，即端坐那裏默默記下其中要點，用功之勤，可見一斑。王瞿序《道古堂集》曰：「堇浦於學無所不貫，所藏書擁榻積幾，不下十萬卷。堇浦枕藉其中，目睇手纂，幾忘晷夕。」杭世駿經常向他人借書閱讀，並與同鄉梁詩正、孫灝、嚴在昌等人組織讀書會，互相討論學術。雍正二年(1724）考中舉人，屢次赴考進士不中。雍正九年(1731年)，杭世駿在主持纂修《浙江通志·經籍志》時，堅持按事實修志，然而當時文網頗密，官府修志，要刪除違礙字句，因此他的要求遭到拒絕。後曾受聘擔任福建鄉試的同考官。鄉試的考官一般都由進士出身的官員擔任。而杭世駿能以舉人的身份擔任考官，足以說明他在當時影響之大。 乾隆元年(1736），杭世駿應浙江總督程元章之薦考取了丙辰博學鴻詞科，名列一等第五，授翰林院編修之職，校勘武英殿《十三經》、《二十四史》，纂修《三禮義疏》。

　　直言賈禍

　　乾隆八年，久旱無雨，乾隆帝循例下詔求直言，開御史試。杭世駿以爲當今皇上納諫入流，於是貿然上了一篇洋洋灑灑數千字的《時務策》，言「意見不可先設，軫域不可太分，滿洲才賢號多，較之漢人，僅什之三四，天下巡撫尚滿漢參半，總督則漢人無一焉，何內滿而外漢也？三江兩浙天下人才淵藪，邊隅之士間出者無幾。今則果於用邊省之人，不計其才，不計其操履，不計其資俸。而十年不調者，皆江浙之人，豈非意見軫域？」主要內容是指責朝廷用人存在偏見。他認爲天下滿洲人少、漢人多，而各地總督卻沒有一個漢人；江浙人才輩出，但在政府中多年沒有人升調。雖然，他所寫的內容都能切中時弊，但清朝由滿洲貴族統治，一直存在着防範漢人的心理，杭世駿恰恰是觸及了「滿漢畛域」這個最忌諱的問題。乾隆皇帝一見之下，勃然大怒說：「滿漢遠邇，皆朕臣工，朕從無歧視。國家教養百年，滿洲人才輩出，何事不及漢人？」杭世駿被斥「懷私妄奏」，刑部議處死刑。刑部尚書徐本極力爲杭世駿求情，稱「是狂生，當其爲諸生時，放言高論久矣」，並不停叩頭，一直把額頭都叩腫了。最後，杭世駿免死革職回鄉。

　　剛開始得知「罪且不測」的消息時，杭世駿正在參加同僚的宴會，還沒等杭世駿從震愕中回過神來，東道主已先一步作出反應，要趕杭世駿出門，免得連累自己。此後，那些所謂的同僚如同躲避瘟神一樣地躲着他，「杭往話別，輒預戒閽者拒之。」唯獨鄭板橋寫信慰問《與杭世駿書》：「君由鴻博，地處清華，當如歐陽永叔在翰苑時，一洗文章浮靡積習，慎勿因循苟且，隨聲附和，以投時好也。數載相知，於朋友有責善之道，勿以冒瀆爲罪，是所冀於同調者。堇浦詞兄，燮頓首。」罷歸之初，杭世駿要麼閉門不出、避人如仇，要麼踟躇在距家很近的吳山幽徑中。但有時他又會倒載而行，招搖過市，目無旁人地大聲吟唱詩句。

　　家居著學

　　杭世駿性格伉直，恃才傲物。他甚至與禮部侍郎方苞發生辯論，引經據典，將一向以經學自負的方苞駁得無言以對。生活上也不拘細節，不喜歡看當時的邸報（邸報是當時政府的內部文告，只有一定地位的人才能看到）。他家居著書或講學，閒居二十年，連當地與他年齡相仿的人做到了大學士、尚書、總督等政府高官，他全然不知道。一次，吏部尚書兼協辦大學士劉綸去揚州安定書院看望他。他問劉綸：「現在做什麼官?」劉綸回答說：「實不相瞞，已經做了很多年大學士了。」杭世駿感到非常驚訝。事實上，杭世駿除了平時講學以外，把其他的時間都用於著書立說上了。儘管與他同一年考中「博學鴻詞科」的許多人都做了高官，惟獨他一人被遣放回家，但是他著的書卻是這些人當中最多的。他較著名的書就有《兩浙經籍志》、《經籍志》、《榕城詩話》、《詞科掌錄》等。杭世駿的詩在當時更是與厲鶚齊名，嘗賦《方鏡詩》二十四首，在京城被傳誦一時。

　　乾隆十六年（1751）得以平反，官復原職。晚年主講廣東粵秀和江蘇揚州兩書院。