《南史》卷五九载：当初，江淹十三岁的时候，父亲就去世了，因此，o家境显得特别贫困凄凉。万般无奈之下，江淹常常靠着自己打柴卖来维持生计，奉养母亲。

曾经一次，江淹在砍柴的地方得到了一具貂蝉，他准备将貂蝉拿到市场变卖成钱，来赡养娘亲。可他的母亲却不同意，说：“这是你即将走上好运的征兆啊！你如此富有才华，绝对不可能长期处于贫困低贱之位的。你就把这貂蝉留着，等到做了朝廷侍中的时候就戴上它。”后来真如母亲所言，江淹当上了朝廷要员。

江淹凭着一手好文章而显达于世。到了晚年，他的才思逐渐减退，没有了年轻时候的意气风发。

传说，他在做宣城太守任期结束后回家，途中曾将船停泊在禅灵寺附近的一个小沙洲旁边。这天晚上，他下榻在驿馆，梦见一个人自称是张景阳，告诉他说：“从前，我曾经将一匹锦缎存放在你那儿，今天可以还给我了。”于是，江淹从怀中取出数尺锦缎给他。那个自称是张景阳的人非常生气地说：“你怎么将它割截得只剩下这么一点点哪！”就在张景阳回头之际，恰好看见了一个叫丘迟的人，就说：“剩下的这点也没有多少用处了，我就把它馈赠给你吧。”于是，将剩下的几尺锦缎交给了丘迟。从那以后，江淹的文章就越发写得差劲了。

又传说，江淹曾经住宿在冶亭的驿馆中，睡梦中出现了一位自称叫郭璞的男人。郭璞对江淹说：“我有一支笔在你那里存放了好多年了，现在可以还给我吗？”江淹于是从怀中摸出一支五色笔出来，交给了郭璞。从此以后，江淹再也没有写出富有文采的诗文。当时的人们都认为江淹已经才思枯竭。

“江郎才尽”这个成语也就由此而衍生出来。