四四年一月开始的马绍尔群岛战役中,不但没能出海迎战,反而退至帛琉群岛,直接导致了马绍尔群岛失守,这引起了日本内阁和陆军对海军的强烈不信任,甚至有些人提出放弃马里亚纳群岛。
但日本大本营非常清楚马里亚纳的重要性,决定沿千岛群岛,小笠原群岛,马里亚纳群岛,加罗林群岛和新几内亚群岛西部建立必须绝对予以确保的防线——绝对国防圈,马里亚纳则是该防线的核心。
因此,日军自一九四四年二月起,开始着手加强该地区的防御,由于以前马里亚纳群岛是海军负责防御,岛上的陆军部队很有限,大本营计划将中国战场上的第三和第十三师团调往中太平洋,以加强该地区的地面部队,但这两个师团在中国战场上一时无法脱身,大本营只好于二月十日将驻中国东北的关东军第二十九师团调到马里亚纳,陆军部还将新组建的八个支队也调到该地区。
二月二十五日,日军大本营将中太平洋地区所有陆军部队整编为第三十一军,由小畑英良中将任军长,规定该军服从于联合舰队司令的调遣。从二月起,日军进一步动员大批船只向该地区调集部队,三十一军拥有五个师团又八个旅团,分别防守马里亚纳,特鲁克,小笠原和帛琉等岛屿。其中部署在马里亚纳群岛的是两个师团又两个旅团,约六万余人。
不过,日军的人数虽多,但是,防御工事修建的却并不快,原计划要到十一月方能完成,此时才完成工程量的一半,火炮掩体几乎没有,地雷和铁丝网也没铺设,总体防御也不过是聋子的耳朵摆设罢了。
日本海军也开始了行动,他们于二月四日将原在马里亚纳群岛的第四舰队和新组建的第十四航空舰队合并为中太平洋舰队,由中途岛海战的败将南云忠一海军中将任司令,第四舰队主要是由鱼雷艇,猎潜艇,扫雷艇和巡逻艇等轻型舰艇组成。
第十四航空舰队编制上还是很庞大的,总共有八个岸基航空队,478架飞机,但陆续被调往其他地区,剩下的飞机寥寥无几,因此这支舰队实力非常薄弱,只能充当牵制美军登陆部队的偏师,为主力舰队集结赢得时间。日本海军计划用于马里亚纳群岛决战的主力舰队是一九四四年二月由第二,第三舰队合并组成的第一机动舰队,几乎包括了联合舰队所有主要水面舰艇,共有航母9艘,战列舰5艘,巡洋舰14艘,驱逐舰31艘,舰载机439架,由小泽治三郎海军中将任司令。
日军大本营深知这支舰队与美军太平洋舰队的航母编队实力上存在较大差距,决定以第一航空舰队改编的第五岸基航空队,与之配合作战,以求充分发挥舰载航空兵与岸基航空兵的协同威力。
只不过,现在的这支第一航空舰队并不是那支战争初期偷袭珍珠港,纵横太平洋所向无敌的航母舰队第一航空舰队,而是一九四三年七月刚刚成立的岸基航空兵部队,由角田觉治海军中将指挥,成立伊始就受到日军大本营的特别重视,从其他部队抽调一些有战斗经验的老飞行员作为骨干,并尽可能为其配备最新式的装备,一直作为大本营的直属部队在国内训练,原计划训练一年。
一九四四年二月马绍尔群岛失守后,不得不调到中太平洋地区,其中技术熟练的调到马里亚纳,技术尚不熟练的则调到菲律宾一边训练一边备战,原第五岸基航空队共有飞机1092架,后又将其他一些具有战斗经验的航空兵部队调入,最鼎盛时,其飞机增至1600架,但因战斗不断,日军的战机生产能力根本无法补充损失数,至一九四四年,这只航空队仅余530架战机。
日军的决战计划原是联合舰队司令古贺峰一海军大将主持制定的,企图在第一航空舰队和第一机动舰队实力有所恢复后,寻找战机与美军决战(日军在制定计划时,还不知道中国军队即将加争夺马里亚纳海湾的战斗),争取扭转战局,代号为"阿号作战"。
联合舰队的司令都是命薄之人,山本五十六的座机被美军击落,这个古贺也好不到哪里去,他于二月三日在前往菲律宾途中座机遭遇暴风,机毁人亡。丰田副武海军大将接任联合舰队司令的次日,即5月3日,就接到了大本营发起"阿号作战"的指令,随即向所属各部下达了作战指令。