兰亭修禊之后，王羲之忽尔意识到：
    一名地方官员如若拥有了一份闲兴逸致，希望融三教九流，热心与百姓大众对话，同时，自家能够享天伦之乐，那就表明他在处办政事上已游刃有余，在仕途生涯上已炉火纯青了。
关于王羲之的许多佳话，正是发生在这个时候。“题扇桥与躲婆弄”就是其中脍炙人口的传说之一。
相传，王羲之从蕺山家中去右军衙门要路过一座桥头。有一日，他见一位老妪拿着一些六角扇正在叫卖，接连有几位顾客打开她的扇子看了看都没有买。王羲之就走近去对她说：我帮你一个忙吧。他便到桥头茶肆借了笔墨，在那老妪的白纸扇上各题上五个字。老妪不理解，这算帮什么忙!王羲之告诉她：“你只要说是王右军书写的字，每把扇的价钱可以要到一百钱。”老妪就试着去叫卖了，果然人们争着购买。翌日，老妪提着礼品和一些白纸扇等候在桥头，一想表示谢谢，二想请王羲之再给她题几个字。王羲之正巧又路过，有熟人提醒王羲之那边有个老妪在等他，王羲之笑着闪进旁边一条小弄。从此人们把那座桥叫作了“题扇桥”，那条小弄叫作了“躲婆弄”。
    其时，十一二岁的幼子献之和十六七岁的六子操之虽还需王羲之调教，但更多的是使他享受到天伦之乐。夫人郗璇主持着一应家事，这正是他人生中的黄金时期。    
    可是，王羲之却又在考虑要辞官了。
    王羲之为什么会在这个时候再一次萌生退隐之念?
    从内因说，王羲之素来官欲淡薄，他最喜欢的是艺术和造化。人的创造性才能在此可较少受到人际因素的干扰。如今他在会稽内史的职位上已有五个年头，上对得起朝廷下对得起百姓，他渴望换一种新的生活方式了。他知道任何一个对社会负责的人，也不可能把整个社会的责任都承担起来。他要留一点时间给自己。他乐于与高士许迈、僧人支遁等交往，准备将精力投放到旅游学、药物学、健康学方面去。
    从外因说，新任顶头上司扬州刺史王述有意同他过不去。他要主动终止同王述的对立状态。王述原是王羲之的前任会稽内史，二人同系太子晋后裔。王述系太子晋以下太原派，王羲之系琅琊派。王羲之接任他的会稽内史之后只去拜望过他一次，是因为郡务繁忙，但另一方面不可否认是王羲之不够看重他。王羲之后来才知道，王述曾是十分希望同他王羲之建立亲睦关系的。王述因为母亡丁艰在家，不便出门，在交割郡务时就对王羲之说过，希望他常去坐坐。此后，每当郡府衙门的吹角声响起，王述以为王羲之要来拜望他了，便洒水扫地等待他。这样连续了几年，而王羲之的人影总是不见，王述就心生了怨恨。等到扬州刺史殷浩因北伐失败而被废为庶民，朝廷让王述去补缺，王述一一去友人家中寒暄就故意不去见王羲之。直到临行，他才道别了一下。王述既当上了王羲之的顶头上司，就有权力检察会稽郡的政务，他随口说声会稽郡有些事得好好查查，他手下的人就立即跑到会稽查这查那。王羲之手下的人被查得焦头烂额，就频频地向王羲之诉苦，王羲之知道自己与王述的隔阂是不可能消解的了。首先自己的职位比王述低，王述不可能买他的账，其次自己也不肯屈膝于王述，尽管自己在王述丁艰期间缺少对他
尊重确属虑事不周。想起自己曾劝告殷浩与桓温和解矛盾，结果两人不和而使朝廷和百姓蒙受惨重损失，如今自己与王述也发生不和，使手下遭受屈辱且不提，仅凭这一段时间由扬州下达的征赋任务朗显加重，不能说这完全与自己的个人因素无关。
  王羲之打起辞官的主意。但是，一些好友劝说王羲之，难道就没别的路可走了吗?
   王羲之认为没有。一是王述刚就任扬州刺史，不可能马上调离。二是自己早已决“终焉会稽”，不愿再四处奔波去他乡任职。
   突然，王羲之想到一个主意。这个主意似乎早就有人谈论过。这就是将扬州地域一分为二，割会稽郡东南方向的几个郡，另设越州。
   王羲之认为，这个建议如若能求得朝廷批准，不但自己与王述的矛盾可望避免，且一些有识之士渴望提高古越地位的问题亦可就此解决。
   王羲之派了一名使者去向朝廷陈诉自己的建议。不料这位使者没有吃透王羲之的精神，缺乏言辞水平，不善随机应变，在陈诉之时遭到了一些大臣的讥笑。
   分设越州之事遭到碰壁，从此没了下文(时至隋朝，分设越州成为事实，不过那已不是王羲之的时代)，王羲之的辞官归隐之心便坚定了。
   为了让自己在朝廷再征召他出仕时不再动摇，王羲之决定采用传统方式——到父母墓前宣誓表示辞官的决心。王羲之挥毫起草了一篇《自誓文》，大意是：
   “……羲之不幸，从小失去父亲，未受到过父亲良好的教诲，靠着母亲和兄长的抚养，才得以渐渐长大。因为朝廷人才缺乏，才受到国家的任用和享受到宠荣。可现在，我若是继续仕进，就无忠孝的风节；若是就此仕退，又有违推行贤德的道义。每当我仰咏老子‘知足不辱，知止不殆，可以长久’的格言和周任所提出的‘应该把才智贡献于所任之职，如不能做到，就该退位’的告诫，就常常恐惧死亡突然降临，担心自己的所作所为给祖先蒙上阴影，所虑不仅是小小的自身。为此，我无论醒着还是睡着总是叹息，如有身坠深谷一样的感觉。停止仕进和知足为乐，就决定于现在。谨以本月良辰吉时摆列筵席，磕头表示诚心，向祖先在天之灵发誓，从今以后我如果胆敢改变此心，贪心不足，仍然苟且进身，就是生了不尊重父母之心而成为不孝之子。作为儿子不像儿子，天地所不许存，古来的儒教所不能容，我的誓言之诚挚，有如明亮的太阳!”
    王羲之非常满意自己所要表述的决心，就在永和十一年(公元355年)三月九日这一天，他趁春日扫墓，带着一群子女弃舟登岸，来到父母墓前，摆开一桌祭宴，朗声宣读了他的那篇《自誓文》。原文使用当时的书面语，以真书小楷所写，体现了其誓的庄重。全文如下：
    “维永和十一年三月癸卯朔，九日辛亥，小子羲之敢告二尊之灵：羲之不天，夙遭阂凶，不蒙过庭之训。母兄鞠育，得渐庶几。遂因人乏，蒙国宠荣。每?仰咏老氏、周任之诫，常恐死亡无日，忧及宗祀，岂在微身而已!是用寤寐永叹，若坠深谷。止足之分，定；之于今。谨以今月吉辰，肆筵设席，稽颡归诚，告誓先。自今之后，敢渝此心，贪冒苟进，是有无尊之心而子也。子而不子，天地所不覆载，名教所不得容。信之诚，有如皎日!”
朝廷接报，见王羲之誓言坚定，也就批准了他的辞官。扬州刺史王述闻悉事情牵涉到他，感到不好意。之后他多次提出复召王羲之为官。不过，王羲之哪里还会接受。
是时，社会上出现夸大王羲之和王述之间隔阂说法，王羲之闻知后希望人们不要强化这个话题。由于人们喜欢使用各自的习惯语言，此事留给后人觉上的差异就十分显然了。