「賞心悅目」係由「賞心」及「悅目」二語組合而成。
「賞心」見於南朝宋．謝靈運〈擬魏太子鄴中集詩八首并序〉。謝靈運（西元３８５∼４３３），是南朝宋文學家，謝玄之孫，小名客兒，時稱謝客。襲封康樂公，又稱謝康樂。少好學，工書畫，文章之美與顏延之為江左第一。性好山水，肆意遨遊，所至輒為題詠，以致其意。其詩開創山水寫實派風格。初為太尉參軍，後徙廣州，有詩傳世。在〈擬魏太子鄴中集詩八首〉的序中，謝靈運提到建安末年時，他在鄴下與文人交遊飲宴的情形。謝靈運認為：美好的時光、宜人的景色、愉悅的心情、歡樂的事情，這四種世間樂事一向最難同時具備，但是能和許多優秀的文人一起唱和應酬，這四者便同時都享受到了。
「悅目」一詞見於漢．劉向《說苑．卷一九．修文》。劉向（西元前７７∼前６)，字子政，本名更生，漢沛縣人。成帝時，改名為向，任光祿大夫，校閱經傳諸子詩賦等書籍，撰成《別錄》一書，為最早的分類目錄專著。另著有《新序》、《說苑》、《列女傳》、《洪範五行》等書。《說苑》共二十卷，所錄皆軼聞瑣事，分類纂輯先秦到漢代歷史故事，雜以議論，大都以儒家思想為指歸，闡明國家興亡、政治成敗之理，以為鑒戒。在典源引文中，劉向認為：衣服容貌是用來愉悅眼目，談吐應對是用來愉悅耳朵，嗜好行為是用來愉悅心志。所以一個君子衣冠端正，人民的眼目就會愉悅；談吐得體，人民的耳朵就會愉悅；實行仁義，去除不仁的行為，人民的心志就會愉悅。後來這兩個詞語被合用成「賞心悅目」，用來形容情景美好，使心目都感到快樂舒暢。