В июне 1984 года японские силы самообороны начали программу модернизации истребителей F-4EJ. Целью данной программы стало продление срока службы самолетов до 21 века. Модернизированные самолеты получили обозначение F-4EJ Kai. В замен устаревшей БРЛС AN/APQ-120 самолеты получили станции AN/APG-66J фирмы Westinghouse. Новые БРЛС имели весьма лучше обнаруживали малоразмерные цели, а так же позволяли более эффективно работать по целям на фоне земли. Были установлены новая бортовая ЭВМ, индикатор на лобовом стекле фирмы Kaiser, система "свой-чужой" AN/APZ-79 фирмы Hazeltine, и выпускавшаяся по лицензии в Японии инерциальная навигационная система LN-39 фирмы Litton. Так же была заменена на J/APR-6 система предупреждения об облучении. Антенны системы разместили в длинных обтекателях на законцовках крыла. На гаргроте фюзеляжа разместили длинную антенну УКВ радиостанции, а подфюзеляжная антенна была увеличена в размерах. Подфюзеляжный узел доработали для использования 2300 литрового ПТБ истребителя F-15, позволявшего выполнять маневрирования с большими перегрузками, чем допускал штатный подфюзеляжный ПТБ. F-4EJ Kai получил возможность использовать многоцелевой контейнер РЭБ AN/ALQ-131 фирмы Westinghouse. Данный контейнер может оснащаться широким спектором модулей для различных задач и может быть перепрограммирован, что позволяет оперативно реагировать на возникновение новых угроз. F-4EJ Kai получил возможность использовать УРВВ AIM-7E/F и AIM-9L/P. Так же самолет стал носителем ПКР ASM-1 фирмы Mitsubishi. Планы установки маневренной механизации крыла не были реализованы по финансовым соображениям. Первый F-4EJ Kai поднялся в воздух в 17 июля 1984 года. Первый экземпляр был передан в строевую часть 24 ноября 1989 года. Изначально планировалось модернизировать 110 самолетов из 125 находившихся в строю F-4EJ, но позднее количество было изменено на 96. Оставшиеся 29 самолетов переоборудовали в разведчики получившие обозначение RF-4EJ-Каи.