五月五日，客舍中人傾巢而出，去莫愁湖看歌舞龍舟，隻有李義山巋然不動。他與女掌櫃在大堂對坐飲茶，二人各有所待，均心中忐忑，故互不言語。
午時剛過，客舍知客衝了進來，遞給女掌櫃一張紙，上麵勾畫了各鄉龍舟勝負。女掌櫃看完，一拍茶桌說，李公子，今日這茶，客舍請你。
她話音剛落，門外進來兩位頭戴鬥笠的紗麵女子，李義山一看，正是桃葉、桃根二位仙姝，李義山趨前施禮，與桃葉、桃根對視了一眼，便接了桃葉到樓上客房，留下桃根與女掌櫃飲茶。
進入客房，關門一瞬間，李義山與桃葉緊緊擁抱在一起，兩人情到深處，都使出了洪荒之力，像是要將骨肉共融。不知過了多久，桃葉說，李郎，妾喘不了氣。李義山才把桃葉放開，桃葉又說，李郎，妾的肋骨折了，痛極。李義山脫去了桃葉的單綃，檢查桃葉的每一根肋骨，雖然疼痛，卻並未折斷。李義山愛憐地說，桃葉，你窈窕了，必是受苦了。桃葉已不能成聲，呢喃輕語道，隻是相思之苦。——妾依舊全身痛楚。李義山便與桃葉行了夫妻大禮，暫解了彼此相思之苦，以及桃葉全身痛楚。
李義山欲問彆後之事，桃葉卻要穿衣先走，她說，妾不能在客舍久留。——家主允了妾與桃根每幾日到莫愁湖邊散步消暑，濱湖空置彆業甚多，李郎去租一戶，妾可與你在彆業相會。桃葉說完，又抱了李義山片刻，然後推開李義山，帶上門，下了樓，與桃根一起匆匆離開客舍。
第二日，李義山退了客房，找了互市牙郎（中介），在莫愁湖邊租到一戶彆業。他布置妥當後，又在院門外植了兩株桃樹，作為標記。
幾日後，時已入夜，桃葉著夜行衣，叩門而來，她說，家主外出宴飲，一向徹夜不歸，今夜可安心相會。二人纏綿了一夜，互訴了彆後艱辛，破曉之時，桃葉依依作彆，李義山為桃葉作了一首詩：
《石城》
石城誇窈窕，花縣更風流。
簟冰將飄枕，簾烘不隱鉤。
玉童收夜鑰，金狄守更籌。
共笑鴛鴦綺，鴛鴦兩白頭。
又一日相會。桃葉說，家主老而無力，不能人事，隻有些腥涎口水，反叫人思念李郎。李義山說，桃葉，與桃根隨郎回鄭州吧。桃葉思慮了許久，流下了眼淚。她說，李郎，那日家主請了兩位州官作證，付了八百兩金，家母也寫了文書和收據，妾姐妹二人如若私自逃離，家主必定報官捕捉，到時候隻怕會連累李郎和家母。李義山說，郎與桃葉也有婚書在手。桃葉說，妾的婚書已為家母撕毀，郎的婚書隻怕州官不認。李義山從公數年，他知道桃葉說得對。二人思來想去，並無周全計策。
李義山與桃葉私會了不幾次，南方的雨季到來了，桃葉和桃根沒有借口到莫愁湖邊散步了，李義山也隻能獨坐彆業看雨。
前門的雨簾不曾斷絕，殊令人發愁；後堂的樹木越發陰鬱，隻隱約可見。雨中的石城讓人迷失有如黃泉，半夜有行郎對著虛空發射石彈。雨停以後，天氣變得無比濕熱。遙想桃葉，搖動著綾扇召喚西風天，輕翠的帷帳蕩漾又回旋。寂寞義山，如同無伴的噪鵑，幾夜啼鳴催開了湖邊的木棉。盛夏的月夜，李義山和桃葉又得以相見。桃葉月下身影唯美，但這一瞬流光卻難以長久撮取；桃葉輕聲款訴心曲，散發著蘭花開破的嫣香。要叫那天上銀河墜入懷抱，便不用織女總是來去。濁水與清波的源頭並沒有差異，濟河水清黃河渾濁仍是同一條河流。期待夏日的薄霧中飛起桃葉的緗裙，義山將手接雲車歡呼仙姝的到來。
客舍樂伎小莫愁，帶了樂師，攜了郢州春酒、麻布等土產，找到了湖邊彆業，想請李義山再作一首《夏》之詩。二人一番誠意，李義山便又作了一首《夏》，詩曰：
前閣雨簾愁不卷，後堂芳樹陰陰見。
石城景物類黃泉，夜半行郎空柘彈。
綾扇喚風閶闔天，輕帷翠幕波淵旋。
蜀魂寂寞有伴未，幾夜瘴花開木棉。
桂宮留影光難取，嫣薰蘭破輕輕語。
直教銀漢墮懷中，未遣星妃鎮來去。
濁水清波何異源，濟河水清黃河渾。
安得薄霧起緗裙，手接雲輧呼太君。
詩中有“石城黃泉”之語，樂師擔心州人聞之不悅，問李義山可否改得一二字。李義山擺手說，樂師可自改。小莫愁和樂師便謝了李義山，捧著詩稿，歡欣地離去了。
不幾日，小莫愁獨自一人前來叩門，李義山以為她又來索詩，笑問，已入秋了？
小莫愁交給李義山一封書信，說道，昨日，桃葉桃根二位仙姝隨家主遠行，家主請樂班到莫愁古渡踏歌送行，妾與桃葉姐姐擁抱而彆時，她塞給妾一封書信，耳語命妾送給李公子。
李義山打開書信，隻見一頁折紙，八個秀字：
此去巴陵，待妾消息。