他在吴兑那里受到敬重，无奈身体不好，只得于次年春经北京回到家乡。
六十岁时，徐文长应张元忭之招去北京，但不久两人的关系就恶化了。
据张岱的记叙，张元忭是个性格严峻、恪守礼教的人，而徐文长却生性放纵，不愿受传统礼法的束缚。
张元忭常常以封建礼教约制徐文长，这使徐文长大为恼火。
他曾对张元忭说：我杀人当死，也不过是颈上一刀，你现在竟要把我剁成肉糜！
由于和老朋友的交恶，加上与官僚们交往受到不平等的对待，使徐文长情绪郁愤，旧病复发，便于居京三载后重归家乡。
此后，徐文长就再没有离开过山阴。
晚年乡居的日子里，徐文长越发厌恶富贵者与礼法之士，所交游的大都是过去的朋友和追随他的门生。
据说有人来访，徐文长不愿见，便手推柴门大呼：“徐渭不在！”
他一生不治产业，钱财随手散尽，此时只得靠卖字画度日。
但手头稍为宽裕，便不肯再作。
倒是一班门生和晚辈的朋友，或骗或抢，常常得到他的杰作。
徐文长似乎特别嗜蟹，许多题画诗记载了朋友们用活蟹来换他画蟹的经过。
最后几年，徐文长身患多种疾病，大约画也不能常作，生活更为贫苦。
《徐文长文集》中有《卖貂》、《卖磬》、《卖画》、《卖书》诸诗，显示出这位大文学家艺术家凄凉的晚境。
1593年，徐文长去世，年七十三。
有人认为：徐文长先生一直命途多艰，坎坷不断，致使他激愤成狂疾。
狂病的不断发作，又导致他被投入监狱，从古至今文人的牢骚怨愤和遭受到的困难苦痛，再没有能超过徐文长先生的了。
但虽然如此，胡公是旷世豪杰，世宗是英明帝王赏识他。
徐文长在胡公幕中受到特殊礼遇，这说明胡公认识到了他的价值。
奏表送上以后，世宗很高兴，这表明皇帝是知道他的价值的。
文长先生唯一欠缺的，只是未能致身显贵而已。
文长先生诗文的崛起，一扫近代文坛庞杂卑陋的习气，百世之后，自会有公正的定论，又怎么能说他生不逢时呢？
不错，在百世之后，历史学家以及很多研究明史的人都很敬重这位才子，包括当年明月先生以及笔者我都从内心尊敬这个曾经的抗倭英雄。
在岁月的长河中，徐渭无疑是一颗耀眼的明星，他的诗书画被奉为国宝，他的才气让无数的后人为之瞻仰。人们永远不会忘记徐文长那无人超越的书画作品，那满腔报国为民的热血，这一切，都将铭记于世人的心里，镌刻在历史的长廊中。