陳衍自幼隨祖父讀書寫字誦詩， 10歲時已讀完《書》、《詩》、《禮》、《易》等國學經典，能將「六朝人文長篇若兩都若哀江南諸賦皆背誦如流」，且「終年爲詩，日課一首」，還對唐、元、明人筆記、小說廣有涉獵。但他在考場上並不如意，屢試屢敗，好不容易在光緒八年（1882年）才中舉，當時二十七歲，同榜者中還有後來的外國名著翻譯家林紓。

　　1886年曾入臺灣巡撫劉銘傳幕府，隨軍招撫當地土著。1886年在北京時，與鄭孝胥共同標榜「同光體」，併成爲「同光體」閩派的代表人物，其評論著作有《石遺室詩話》。 1895年三、四月間，陳衍到京會試，時值甲午中日戰爭後期，清政府派李鴻章爲全權代表赴日求和簽署《馬關條約》，舉國譁然。陳衍起草、並與林紓等人聯名上書都察院，反對割讓遼東半島、臺灣等領土。1897年夏，陳衍被公推爲《求是報》主筆，在其主事期間，《求是報》的內容包括社論、諭旨恭錄、中外新聞、中外法律法規、譯文和逸聞、理論科學的譯介和小說連載等等，而且每期都有針對中國現狀的論說，因此讀者日多，風行一時。當時的湖廣總督張之洞正是由《求是報》看出陳衍的卓越的才幹，於1898年邀請他到武昌，爲其寫作，並任《官報》局總編纂。1898年春，京城會試之際，變法呼聲正高，陳衍作《戊戌變法榷議》，分議相、議兵等十條，提出自己的變法主張。同年，應經濟特科試，不中。戊戌變法失敗後，《官報》停辦，陳衍籌辦《商務報》，以研究實業爲主，除了連載他同其下屬河瀨儀太郎翻譯的《銀行論》、《貨幣制度論》、《商業經濟學》、《商業地理》、《商業開化史》、《商業博物志》、《日本商律》、《破產律》等外，還連載了《歐美商業實勢》，對世界各國的經濟情況做了大量翔實報道。1907年陳衍到北京任學部主事、併兼京師大學堂文科教習。1911年清朝滅亡後，到南北各大學講學。1912年12月起，在梁啓超主辦的《庸言》半月刊上連載，數十萬言的長文，旁徵博引，侃侃而談，甚獲好評。後來《石遺室詩話》結集出版，風靡一時。「煌煌巨帙，聲教遠暨海內外，一時豪俊，奔趨其旗之下。」他要續輯詩話的消息傳出後，各地詩人竟「爭欲得其一言爲榮，於是投詩乞品題者無虛日」。他得意地告訴朋友：「海內詩人寄到之集，已閱過者殆滿間一屋，而架上案頭，有已選佳句不及收入者，尚不可勝計。」陳衍的詩歌理論對「同光體」詩人的上述主張作了較爲系統的總結與發展，具有集大成的意義。他的詩作則瓣香白居易、楊萬裏，多抒發閒適情趣，涵泳山水妙旨，遣詞造句，頗具新意，於「同光體」中自成一家。

　　1916年起編修《福建通志》，5年後《通志》全稿完成，凡600餘卷約1000萬字，除鹽政、水利等數志外，皆由陳衍一人經營編纂。該《通志》於1938年出版，迄今仍是省志中最爲完備的一部。

　　1933年除夕，錢鍾書拜會他，當時已年過七旬，錢其時尚在清華讀書。可謂忘年之交。錢在英國留學時陳衍還寄給他自己的詩作，其中有「青眼高歌久，於君慰已奢」詩句。錢鍾書早年「好義山、仲則風華綺麗之體，爲才子詩，全恃才華爲之」，陳衍則批評他：「湯卿謀不可爲，黃仲則尤不可爲」，因而改弦易轍，奉衍若神明。三十年代初，陳衍仍對錢鍾書到國外念文學大惑不解：「文學又何必向國外去學呢！我們中國文學不就很好嗎？」

　　陳衍晚年寓居蘇州，與章炳麟、金天翮共倡辦國學會，並任無錫國學專修學校教授。1937年8月，陳衍在福州病逝，葬於西門外文筆山。