但是，戚继光在生命中的最后几年坠入了寂寞和凄凉。张居正死后7个月，他被调任为广东总兵，官职虽然依旧，实际上已经失去了拱卫帝都的重要地位。再过一年，清算张居正的运动达到最高氵朝，戚继光的精更加消沉郁闷，于是呈请退休。可是当时的环境已经不允许他保持令名，据官方文件的记载，他和辽东总兵李成梁同时作为前首辅的党羽而被参劾。万历皇帝原谅了李成梁而把戚继光革职。
戚继光罢官家居以后，只有很少几个朋友仍然和他保持来往，文豪王世贞也是其中之一。戚继光去世之前一年，王世贞还写了一篇祝贺戚帅的寿序，赞扬他的生平功业。只是不久之后王世贞所写的《张公居正传》涉及了他的好友戚继光时，则另有一番情调。
这篇《张公居正传》是在史籍中很值得注意的文章。它出于传主的同年而兼为散文家的手笔，而且记录极为详尽，包括了很多传闻逸事，细微未节。当然，文中也有对张居正的称誉，例如提到他知人善任，就举出了戚继光、李成梁之能够成为名将，就是因为得到了这位首辅的支持才得以充分发挥他们的才略。可是传中重点则指张公虚伪矫饰而天性刻薄。而且作者也不隐瞒他和张居正个人之间的嫌隙。文章中叙述到自己的地方不用第一人称而直书“王世贞”。
传记又说，张居正的去世，原因是好色过度。兵部尚书谭纶曾把房中术传授给首辅，威继光则用重金购买称为“千金姬”的美女作为礼品奉进。这样一来，在蓟州重整军备这一番作为，似乎又和饮食男女的本能发生了关系。这一段无法考证的逸事，记录在这样一篇文辞华美的传记之内，成了一大公案，使以后写作戚继光传记的人都不知道应当如何处理，就只好装作没有看见。
戚继光死去以前，他的妻子已经遗弃了他。他以前统率1o万大军，素以慷慨著称，对朋友尤为豪爽。他不事私蓄，在被斥退以后，竟至一贫如洗，甚至医药不备。英雄末路，使当时和后世的同情者无不扼腕叹息。戚继光本人的功业固然值得表彰，同时又加上这些感情的色彩，所以，不论是正式的传记还是非正式的纪事、评论，总是对他备加称颂，有时竟把他描写成一个完人。
但是真正的历史学家应当有超越当时的看法。戚继光是一个复杂的人物，不能把他强行安放在用传统道德构成的标准像框里。他的一生中有许多难于解释的事情。譬如说，这位高级将领生前娶妾3人，生子5人，可是直到他的儿子长大成人，他却能全部隐瞒了他们的存在，他泼悍的夫人竟不知将门有子。
他在部下面前提到士兵生活的痛苦，可以洒下同情的眼泪。他废止了让士兵采伐柴薪以供他家用的成例，有一年除夕，总兵府中竟因为缺乏炊米之薪而不能及时辞岁。可是北京著名餐馆的名菜，如抄手胡同华家的煮猪头，却由百十里外走马传致。又譬如他在蓟州练兵时采用过歃血为盟的仪式，与将士共饮血酒并对天起誓：“或怀二心，不爱军力，不抚念军贫，或屡禁而肆科索，或虚冒而充夤缘，……即如俞景龙立死，以膺显报。”如果“恣意科敛以供馈送”，就会遭到“天灾**，瘟疫水火，使全家立死”，甚至“男盗女娼，十代不止”。然而从一些迹象看来，戚继光并没有完全遵守他自己的誓言。他以重金购买美女送给张居正一事固然无法证实，但是他让他的兄弟给张家“馈送”礼物，却见于张居正的书牍。而张居正只象征性地收受其中的一小部分，把其余的“壁诸来使”，也可以隐约看出礼物的贵重。《明史》本传把他和俞大酞比较，说他“操行不如而果毅过人”也是用委婉的措辞证明了一个英勇的军人不一定同时就是廉洁的将领。1584年戚继光被参劾的理由之中，有一条就是他在蓟州的账薄业已不知去向。更直接地说，就是没有帐单可资交代。
除了歃血为盟为外，戚继光还在他的麾下创造了很多宗教式的做法。比如，他亲自设计制作各营连的军旗，在军旗上绘绣天上的星星或者传说中鸟首人身的图象，以象征他们的指挥官。他重视黄道吉日和生辰八字，而在向部下训话的时候，又常常提到善恶的因果报应。难道本朝最为出色的军人竟沉沦于迷信之中？这连《四库总目提要》的编者都感到别扭，不知应当如何评论他著作中的这些内容。
但是用视而不见的态度抹去遮盖这些事实，就是不忠实于历史；对一个英雄人物隐恶扬善，也并不是真正的推崇。戚继光的复杂来自环境的复杂，如果指望他简单得如同海瑞，无疑是不近情理。写历史的人既知道戚继光是一代卓越的将领，一位极端刚毅果敢的军人，也是一位第一流的经理、组织家、工程建筑师和操典的作者，则自然应当联想到假如他不精通政治间的奥妙，就决不可能同时做好这么多的事情。戚继光所生活的时代，落后陈旧的卫所和军户制度早应该全盘放弃，而代之以先进的募兵制度；零碎的补给，也早就应该集中管理。然而我们的帝国不允许也没有能力作全面的改革，只好寻找出一种妥协的办法来作部分的修补。戚继光的天才，在于他看准了妥协之无法避免；而他的成功，也在于他善于在技术上调和各式各样的矛盾。妥协的原则，是让先进的部门后退，使之与落后的部门不至相距过远。在组织制度上没有办法，就在私人关系上寻找出路。具体来说，没有文渊阁和张居正的全力支持，就没有强有力的蓟州军区和戚继光。他的部队和他本人充满了矛盾，在火器已经在欧洲普遍使用的时候，他动员大批士兵修建碉堡；在他的混成旅里面，枪炮手和藤牌手并肩作战。他一方面是这样精细，仔细计算日出日没的时间；一方面又这样野蛮，把违反军纪的士兵割去耳朵。这些极端矛盾的事实，在其他国家内，可能彼此相隔几个世纪，而我们的帝国则在一个军区内同时出现。
戚继光是否是一个超自然的崇拜者？从某些方面来说，他和很多同时代的人物一样，确实有这样的倾向。但是在有些时候，超自然的信仰却只是一种治军的手段。在一次向皇帝陈述意见的奏折里，总兵戚继光坦率地指出，北方的军官，“自将领而下，十无一二能辨鲁鱼”。将领如此，士兵的文化水准更可以想见。要是主将不用宗教迷信的因果报应作为规劝，还有什么其他办法辅助军事教育？
面对另外的对象，戚继光可以立即改变语气。比如说，他在军区中建造的私宅命名为“止止堂”，运用《庄子》中“虚室生白，吉祥止止”的典故，表示他谦抑自持，愿意在虚静之间得到吉祥。他的文集，起初称为《愚愚稿》，也就是向所有的文人表明他本人愚鲁而作品笨拙，不敢和别人媲美。
戚继光的长处，在于他没有把这些人事上的才能当成投机取巧和升官发财的本钱，而只是作为建立新军和保卫国家的手段。他深知一个将领只能在社会情况的允许之下才能使军事科学和军事技术在现实生活里发挥作用。他接受这样的现实，以尽其在我的精把事情办好，同时也在可能的情况下使自己得到适当的享受。至于合法或者不合法，从他的政治的眼光看来已无关宏旨。
他和谭纶和张居正的关系如此密切，虽说他精通政治但是最后仍不能逃避政治中的现实。张居正死后，廷臣提醒万历：戚继光是伏在官门之外的一头猛兽，只听张居正的操纵，别人无法节制。这也正是控诉张居正意图谋逆的理由：张居正和戚继光没有造反的证据，却有造反的能力。所以，在清算张居正的运动中，法官追问张的儿子懋修，为什么他父亲在日，要在夜间派人与戚帅书面联络？
戚继光的不幸遭遇是因为他在一镇中推行的整套措施业已在事实上打破了文官集团所力图保持的平衡。既然如此，他就必须付出代价。
他在贫病交迫中死去。在少数几个没有遗弃他的朋友之中，有一位就是为他写作墓志铭的汪道昆。当他写到“口鸡三号，将星殒矣”，显然有无限凄枪的感触。汪道昆自然不会知道，当他润笔作书的时候，西班牙的舰队，已整备出征英国。这事情的意义，即是军备的张弛，立即影响一国国运的盛衰。世界局势如是，而这阳历 1588年1月17日清晨，将星西殒之际，我们一个古老的帝国业已失去重整军备的最好良机。3o年后，本朝的官兵和努尔哈赤的部队交锋，缺乏戚南塘将军苦心孤诣拟订的战术和强调的组织纪律，结果是众不敌寡。兹后八旗军作为一股新生力量崛起于白山黑水之间，其取本朝而代之，也只是迟早的问题了。
