項羽在攻占咸陽后，便放火燒了阿房宮。并與劉邦約定以鴻溝為界，劃分天下。當項羽想要回江東時，有人建議他就在秦地建都稱王。項羽一方面想當帝王，一方面也想在江東父老鄉親的面前揚名顯威，當人人羨慕的大英雄。幾番糾結后，項羽便對士兵說出了“富貴不歸故鄉，如衣錦夜行，誰知之者”的話。于是，項羽遵守與劉邦的約定，帶著軍隊回到了江東。

后人根據這個故事延伸出了衣錦還鄉一詞，泛指富貴以后穿著華麗的衣服回到故鄉，也說衣錦榮歸。