看着，吟着，越读越不是滋味，越读越恼火。特别是那句“忍把浮名。换了浅斟低唱。”真是刺到了宋仁宗的痛处上。
三年后，柳永又一次参加考试，好不容易过了几关，只等皇帝朱笔圈点放榜。谁知，当仁宗皇帝在名册薄上看到“柳永”二字时，龙颜大怒，恶恨恨抹去了柳永的名字，在旁批到：“且去浅斟低唱，何要浮名？”意思是说，你柳永还是去填男欢女爱的词儿，不要做官了吧！从此以后，柳永笑称自己是“奉旨填词。”
两次的仕途失利，使柳永对朝廷科考产生了抵触情绪，从此之后，他更是纵情游走于妓馆酒楼、烟花柳陌。柳永为教坊乐工和歌妓填词，供她们在酒肆歌楼里演唱赚钱，当然柳永也会得到相应的酬劳，他也因此不会有太多的衣食之虞。直到了景佑元年（1034年），在京城歌妓的鼓励下，柳永再次走进考场，终于博得了功名。但皇上仅仅赐他进士出身。经过一番努力，时年五十一岁的柳永，赴余杭任县宰。这个小小的县官，对柳永来说，真是如同“鸡肋”，做也罢，不做也罢。因为，那份工钱也许还不如他给妓女作词赚的钱更多呢。路过江州的时候，柳永住了下来歇脚再行。
柳永的到来，轰动了整个江州。听说柳永来了，江州的妓女们纷纷前来拜访。名妓谢玉英，可谓色艺俱佳，最爱唱柳永之词。但凡柳永之作，只要她能找到的，她一定抄录了下来。这次柳永来了，目睹了柳大词人的真容，谢玉英竟然喜欢上了他——虽然他比她要大二十多岁。谢玉英盛情邀请柳大词人到自己家中做客。当柳永来到谢玉英的住处时，见到一册《柳七新词》，是谢玉英用蝇头小楷抄录的。于是，柳永打心眼里爱上了这个妓女。从此以后，他们住在了一起，如同夫妻，情意缠绵。临别时，柳永写新词表示此情不移、永不变心，谢玉英则海誓山盟，表示从此闭门谢客，以待柳郎。柳永为谢玉英请工匠铸上了刻有玉英二字的铜镜以为凭证，上任浙江余杭去了。