程昱獻上計策說：“關羽有萬夫不當之勇，不用智謀無法戰勝他。如今可立即派劉備手下投降的士兵，進入下邳，去見關羽，隻說是逃回來的，潛伏在城中作為內應；再引誘關羽出戰，詐敗佯輸，把他引到彆處，用精兵截斷他的歸路，然後再去勸說他投降就可以了。”曹操聽從了他的計謀，立即命令數十名徐州投降的士兵，徑直前往下邳投降關羽。
關羽以為是原來的士兵，便收留他們，沒有起疑。第二天，夏侯惇作為先鋒，率領五千士兵前來挑戰。
關羽不出城迎戰，夏侯惇就派人在城下辱罵。關羽大怒，率領三千人馬出城，與夏侯惇交戰。
大約戰了十幾個回合，夏侯惇撥轉馬頭逃走。關羽追趕，夏侯惇邊戰邊退。
關羽大約追趕了二十裡，擔心下邳有失，便帶兵往回走。隻聽到一聲炮響，左邊有徐晃，右邊有許褚，兩隊人馬截斷了去路，關羽奪路而逃，兩邊伏兵排列了一百張強弩，箭像飛蝗一樣射來。
關羽無法通過，勒馬再次往回走，徐晃、許褚迎上來交戰。關羽奮力殺退二人，帶兵想要回下邳，夏侯惇又截住廝殺。
關羽一直戰鬥到天黑，無路可歸，隻得來到一座土山，帶兵在山頭上駐紮，暫且休息一會兒。
曹軍把土山團團圍住。關羽在山上遠遠望去，隻見下邳城中火光衝天，原來是那些詐降的士兵偷偷打開城門，曹操親自率領大軍殺入城中，隻讓人舉火以迷惑關羽的心。
關羽見下邳起火，心中驚慌，連夜幾次衝下山來，都被亂箭射回。挨到天亮，關羽打算再整頓人馬衝下山去突圍，忽然看見一人騎馬跑上山來，一看是張遼。
關羽迎上去說：“文遠是來與我對敵的嗎？”張遼說：“不是。念及與故人往日的情誼，特地來相見。”於是扔下刀下馬，與關羽行過禮後，坐在山頂上。
關羽說：“文遠莫非是來勸說我投降的？”張遼說：“不是。昔日承蒙兄長救我，今日我怎能不救兄長？”關羽說：“那麼文遠是要來幫助我嗎？”張遼說：“也不是。”關羽說：“既不幫助我，來這裡乾什麼？”張遼說：“劉備不知生死存亡，張飛也不知死活。昨夜曹公已經攻破下邳，軍民都沒有受到傷害，曹公還派人護衛劉備的家眷，不許驚擾她們。曹公如此相待，我特地來向兄長報告。”關羽發怒說：“你這話分明是來說服我的。我如今雖然身處絕境，但視死如歸。你趕快離開，我馬上就下山迎戰。”張遼大笑說：“兄長這話難道不會被天下人笑話嗎？”關羽說：“我憑借忠義而死，怎麼會被天下人笑話？”張遼說：“兄長如今若死，有三條罪過。”關羽說：“你且說說我哪三條罪過？”張遼說：“當初劉使君與兄長結義的時候，發誓同生共死；如今使君剛剛戰敗，而兄長就戰死，倘若使君日後東山再起，想要尋求兄長相助，卻再也得不到，這難道不是辜負了當年的盟誓嗎？這是第一條罪過。劉使君把家眷托付給兄長，兄長如今戰死，二位夫人無所依靠，辜負了使君托付的重任。這是第二條罪過。兄長武藝超群，又精通經史，卻不想著與使君一起匡扶漢室，隻想著赴湯蹈火，逞匹夫之勇，這怎麼能算義呢？這是第三條罪過。兄長有這三條罪過，我不得不告知。”關羽沉思片刻說：“你說我有三條罪過，那你想讓我怎麼做？”張遼說：“如今四麵都是曹公的兵馬，兄長如果不投降，就必定會死；白白送死沒有益處，不如暫且投降曹公；然後打聽劉使君的消息，一旦知道他在哪裡，就前去投奔。一來可以保全二位夫人，二來不違背桃園結義的約定，三來可以留下有用之身：有這三個好處，兄長應該仔細考慮。”關羽說：“兄長說有三個好處，我有三個約定。如果丞相能答應，我就立即卸甲投降；如果不答應，我寧願承受三條罪過而死。”張遼說：“丞相寬宏大量，有什麼不能容忍的。願聞三個約定。”關羽說：“第一，我與皇叔發誓，共同扶持漢室，我如今隻降漢帝，不降曹操；第二，二位嫂嫂的住處，請給皇叔的俸祿贍養，所有上下人等，都不許到門前；第三，隻要知道劉皇叔的去向，不管千裡萬裡，我立即就去投奔：這三條缺少一條，我絕不肯投降。希望文遠趕快回去回報。”張遼答應下來，於是上馬，回去見曹操，先說起關羽隻降漢帝不降曹操的事。
曹操笑著說：“我身為漢朝丞相，漢就是我。這一條可以答應。”張遼又說：“二位夫人想要皇叔的俸祿贍養，並且不許上下人等靠近門前。”曹操說：“我在皇叔的俸祿基礎上，加倍供給。至於嚴禁內外往來，這是家法，又有什麼可懷疑的！”張遼又說：“隻要知道劉備的消息，即使路途遙遠也必定前往。”曹操搖頭說：“這樣的話，我養關羽有什麼用？這件事卻難以答應。”張遼說：“難道沒聽說過豫讓關於眾人與國士的言論嗎？劉玄德對待關羽不過是恩情深厚罷了。丞相您更加厚待他，以籠絡他的心，還擔心關羽不心服嗎？”曹操說：“文遠說得很對，我願意答應這三條約定。”張遼再次前往山上回報關羽。
關羽說：“雖然如此，暫且請丞相退兵，讓我入城去見二位嫂嫂，告知這件事，然後再投降。”張遼又回去，把這話報告給曹操。
曹操立即傳令，退兵三十裡。荀彧說：“不行，恐怕有詐。”曹操說：“關羽是義士，必定不會失信。”於是帶兵後退。
關羽帶兵進入下邳，看到百姓平安無事，徑直來到府中，去見二位嫂嫂。
甘夫人、糜夫人聽說關羽到來，急忙出來迎接。關羽在台階下下拜說：“讓二位嫂嫂受驚，這是我的罪過。”二位夫人說：“皇叔如今在哪裡？”關羽說：“不知去向。”二位夫人說：“二叔如今打算怎麼辦？”關羽說：“我出城死戰，被困在土山上，張遼勸我投降，我提出三個約定。曹操都已經答應，所以特地退兵，放我入城。我沒有得到嫂嫂們的主意，不敢擅自做主。”二位夫人問：“哪三個約定？”關羽把上麵的三個約定，詳細說了一遍。
甘夫人說：“昨天曹軍入城，我們都以為必死無疑；沒想到毫發無損，沒有一個士兵敢進入家門。叔叔既然已經答應，何必問我們二人？隻是恐怕日後曹操不容許叔叔去尋找皇叔。”關羽說：“嫂嫂放心，我自有主張。”二位夫人說：“叔叔自己裁決，凡事不必問我們女流之輩。”關羽告辭出來，於是帶領數十名騎兵去見曹操。
曹操親自出轅門迎接。關羽下馬入內拜見，曹操慌忙回禮。關羽說：“我是敗軍之將，深感丞相不殺之恩。”曹操說：“我一向仰慕雲長的忠義，今日有幸相見，足以慰藉我平生的願望。”關羽說：“文遠代我稟報了三個約定，承蒙丞相答應，想必不會食言。”曹操說：“我話已出口，怎敢失信。”關羽說：“我若知道皇叔的所在，即使赴湯蹈火，也必定前往追隨。到時候恐怕來不及拜彆，希望丞相能諒解。”曹操說：“劉備若還在，必定會隨你去；但恐怕在亂軍中已經身亡了。你暫且放寬心，容我派人繼續打聽。”關羽拜謝。
曹操設宴款待。第二天班師回許昌。關羽收拾好車駕，請二位嫂嫂上車，親自護車而行。
一路上在館驛休息，曹操想擾亂他們的君臣之禮，讓關羽與二位嫂嫂共處一室。
關羽於是手持蠟燭站立在戶外，通宵達旦，毫無倦意。曹操見關羽如此，越發敬重佩服。
到了許昌後，曹操撥一座府第給關羽居住。關羽把一宅分為兩院，內門安排十名老兵把守，關羽自己居住在外宅。