故事背景出自清代嘉定寶山文人毛大瀛寫過的一本《戲鷗居詞話》：六娘本名陳湘萍，為名門之女，自幼與近鄰王初桐青梅竹馬。後陳父母嫌王家貧，將六娘許給一富家纓綹子。自此王初桐發奮攻讀，多次參加鄉試，無奈屢試不中。後來清廷平小金川之亂，皇帝特開科招試，年四十八的王初桐一舉中士，名列二等。

2.中士之後，王初桐被授予四庫群書館的眷錄官，後來又在山東為官，繼任寧海州同知。在其為官期間政簡刑清，頗得民心。後來在濟南任上，深受山東巡撫伊江阿賞識，大學士阮元稱他為「江左人才淵第一，濟南名師更無雙」。此時，王初桐已成家，夫人賢惠，但因其心中長念六娘，故與夫人情淡意薄。
3.嘉慶四年，王初桐致仕還鄉，隱居方泰，著書立說。再說六娘，因丈夫放浪無檢，很快把家產揮霍殆盡。無奈之下，六娘只好屈身於「勾欄」（古時雜技演藝場），賣唱賣笑不賣身，再後來就成賣身不賣藝。數年後，有些許積蓄，她便離開煙火之地，獨居槎水（即槎溪，南翔鎮別名）邊，讀書看景，清靜自在。

4.當時方泰與南翔相距不遠，一次，王初桐行舟於槎水之上，忽聞熟悉的琴聲（六娘自小便彈的一手好參（shen）琴），即命船夫靠岸入河浜（bang）屋內，果不然是六娘。兩人見面一番苦訴之後，免不了唏噓不已。至此，六娘仍孑然一身，而王初桐早已兒女成群，兩人再結夫妻已無可能，於是兩人便以兄妹相稱。

5.自此之後王便暗中資助六娘銀兩，常來常往，談文論詩，對閒人議論全不在乎。六娘為報答王初桐的厚恩，自畫一幅像贈與王，畫上寫有「天寒翠袖薄，日暮倚修竹」的題詞。此為唐詩人杜甫《佳人》的詩句，意指佳人孤高、絕世獨立的意思。王初桐在上面署上四字--“絕代佳人”，成為一幅珠聯璧合之作。

6.當時嘉定的文人圈中，有許多人都看到這幅畫，有同情者紛紛在上面作詩題詞，其中沒有一句指責初桐和六娘。這幅畫一直流傳到京師。京師也有許多文人雅士看過這幅畫，他們都為六娘的美貌和才華傾倒，也為王、陳的這場愛情悲劇唏噓。