康熙十二年（1673年）癸醜科一甲三名進士（探花），授編修，選右中允。官至吏部侍郎，時人評爲「文行兼優」。後與刑部侍郎綏色克同赴陝西，審理糧鹽道受賄案，擬罪失當，貶詹事。後擢內閣學士。

　　康熙十四年（1675年），徐秉義典試浙江，一時知名之士咸登科焉，號能得人。

　　康熙二十八年（1689年）四月，都察院左副都御史許三禮彈劾徐乾學結黨營私，爭權奪利，並縱容子侄貪贓受賄，廣佔田產。但對徐秉義，許三禮則說他「文行兼優」，向朝廷懇切舉薦，希望能夠加以重用。康熙三十三年（1694年）三月三日，徐秉義、錢陸燦、孫暘、盛符升、徐乾學、尤侗、何棒、黃與堅、王日藻、許纘曾、周金然、秦松齡等十二位老耆聚飲修禊於遂園，宮廷畫家禹之鼎繪《逐園耆年楔飲圖》。

　　康熙三十六年（1697年），擢少詹事，日講起居住官。康熙三十八年，升任詹事。

　　康熙三十九年（1700年），任殿試讀卷官。

　　康熙四十一年（1702年）出任順天鄉試主考官。後，徐秉義告假還鄉。

　　康熙四十四年（1705年），聖祖南巡時，徐秉義陪同遊園，御賜「恭謹老成」匾。

　　康熙五十年（1711年），卒。