南京政府建立之后，一度曾设想扩充海军。1928年8月14日，革命党二届五中全会通过的《整理军事案》中称：“在国防上，海军、空军及军港要塞之建筑，均为重要。吾国海岸线既长，版图又大，现在海军实力微弱，空军尚无基础。今后之国防计划中，必须实事求是，发展海军，建设空军，俾国防计划归于完成。”2天后，即8月16日，江南造船所制造的“咸宁”号炮舰下水，蒋介石、张定璠、（”更新最快,全.文.字手打）张群、杨树庄等出席了下水典礼。蒋介石登上军舰讲演说：“要挽回国家的权力，必须建设很大的海军，使我们中华成为世界上一等海军国，全在诸位将士身上，我们预计15年后就有60万吨的海军，做了世界一等海军国家。”
当时海军部长陈绍宽开始也雄心勃勃地想实施发展海军的计划。1931年2月21日，他在中央广播电台发表演说时指出，建设海军治标办法为先购巡洋舰和潜水舰，治本则需建设60万吨之各类型军舰。还应在胶州湾、象山港、大鹏湾分别建设军港。
但是，陈绍宽多次将造舰计划上报给蒋介石，均石沉大海。因此，中国的海军只能在艰苦的条件下缓慢地发展着。
在抗战之前的10年中，新装备海军的舰艇除了1932年从日本购回的“宁海”号巡洋舰（2600吨）之外，基本上都由江南造船船所制造。1928年，造出“咸宁”号炮舰（42年，造出“永绥”号炮舰（60年，造出“民权”号炮舰（46年，造出“逸仙”号轻巡洋舰（1500吨）和“民生”号炮舰（50年－1934年间，造出“海宁”、“江宁”、“抚宁”、“绥宁”号（均260吨）和“肃宁”、“威宁”、“崇宁”、（均280吨）号等10艘炮艇。1937年4月，仿“宁海”号舰式造出“平海”号巡洋舰。“宁海”、“平海”2舰服役后，成为中国海军最先进的军舰。该型巡洋舰舰身长宽米米，吃水4.04米；装配140毫米双联装主炮炮塔3座，76毫米高射炮6门，机关炮10门，鱼雷发射管4个，马力10000匹，航速23节，可携带水上侦察机1－2架。
这一时期，海军部决定淘汰一些旧式舰艇，同时，对许多舰艇进行修理、改装，以提高作战能力。其中，对“建威”、“建安”2艘驱逐舰进行了大规模的改造。“建威”、“建安”舰是福州船政局于1902年制造的。1930年初开工改造，1931年竣工。排水量由850吨提高到1050吨；原有100毫米主炮1门，76毫米炮3门，37毫米炮6门，鱼雷发射管2个，改装后拥有120毫米主炮2门，76毫米炮1门，57毫米炮2门，20毫米高射炮米机枪6挺。但这些措施，距60万吨的计划相差甚远，新造舰艇总排水量仅8000余吨，加上改建的也不过万余吨。1937年抗战爆发前，中央海军系统共有舰艇57艘，44298吨，比1928年增加了1万吨。尽管这对于一个大国是微不足道的，但却来之不易。
1931年9月，日本侵占我国东北之后，其鲸吞全中国的野心日益明显。为了抵御日本的侵略，从1933年度开始，全国开始了5年的整军备战计划。海军部积极研究和制定海军防务方针，针对日本海军实力和中国实际，在1934、1935、1936年度的《国防计划》中，具体制定和提出了海军防务计划和设想。
首先在“要旨”中明确指出，战争初期，日本必先征服吾国……而啦啦文学更新最快其所取之道，除北方局地外，实以海道为最便捷。何则彼居折扇之端，其所趋指恰如折扇之骨而辐射于吾全海岸也。……英美与日本在太平洋未决之期间，吾国必须与日本争夺中国海海上之交通。纵不能夺得而管制之，亦必须能于上述太平洋海战未决之期间与之争持不下，以阻滞其作战方针而扰乱之……
日本为海军极强之国之一。吾国纵建设相当之海军，亦非其敌矣。然而果能建设相当之海军，再极力整理现有海军，则在彼与英美海军对峙于太平洋之期间，吾力必能歼尽彼之第二线之预备军，如彼之现驻于吾沿海沿江之预备役舰艇等者，其结果则海上及沿海之大道必尽归我管制而沿海及内地始胥安且也。
在海军政策中指出：以某一国海军为目标，对于该国海军之自中国海侵入者，海军力在防御的攻势下，须能于中国海海上与之对抗而歼灭之，以谋获得中国海之制海权。
在最近十年间，最低限度海军力须能一举歼灭某一国海军之驻于沿海沿江者及其临时增遣者之联合，力以谋于太平洋海战未决之期间，能完全管制中国海之交通。
我方应力谋与英国或美国、或英美两国之海军提携，列为外交政策之一。一面刷新现有人才，振作现有海军，一面建设相当新海军，用以达成管制中国海及与英美海军成犄角之目的。暂置主力（舰）不建，取小舰主义而侧重潜水舰及水上飞机以弥补无主力舰之缺陷。当决定海军诸势力之时，以能胜海上战斗者为主，而以夺得中国海海上之交通为第一，以保证沿海交通为第二。
在造舰政策中认为：舰艇之诸性能，以适于在中国海海上之战斗为主，而合于防御的攻势之主义下之要求……海军飞机之型，就其能与舰队协同作战者之中，择其适当而优秀者充之。
造舰计划提出：在求管制中国海之交通之大方针之下，为发挥防御的攻势之手段起见，造舰计划以日本驻华舰队为对象。
第—期5年造舰计划为：向导舰（2400吨）1艘、驱逐舰（800吨）16艘、潜水舰（600吨）21艘；水雷敷设舰（800吨）4艘、扫雷舰（600吨）8艘、水上飞机（轰炸）150架，以编成1个水雷战队，2个潜水战队，水雷敷设舰和扫雷舰各1队，3个航空战队。
海军“作战计划”中规定：海军的方针是“以保持江浙沿海及扬子江之安全为主，闽厦及胶州湾等处海面次之”。“取防御的攻势之手段用以达成间接的或直接的陆海空军协同动作之目的”。“为达成作战方针起见，除应实施造舰计划外，全国航海舰艇悉集中于扬子江南口或其口外某群岛之中；全国航江舰艇悉集中于南京或江阴一带”。“开战之最初，航海舰艇及航江舰艇分别协同海军防御队及要塞扑灭扬子江口及扬子江内现驻之敌海军。轻快舰艇则在东海全部及黄海南部距岸50乃至100海里以内肆其活动，以攻击敌之军队输送为主，海上商船次之”。
上述的分析和计划，基本上是正确的。如果真能实行，那么中国海军在后来的抗日战争中会发挥更大的作用。然而，蒋介石正集中主力忙于剿共，行“攘外必先安内”的国策，无瑕顾及海军发展，特别是海军经费—直不足，新造舰艇费用无法保证，计划多数落空。1934年度海军经费支出为1070万元，而第一期计划新造军舰就需3亿元，新造飞机需2700万元。仅1931年造成的“民生”炮舰（505吨）1艘就用了150万元。拨给海军的这一点点可怜经费，只能维持官兵衣食和舰艇维修。当时，全国一年的军费在3亿元以上，海军最多占1/30。
1931年5月9日，旧中国政府行政院公布中国领海线为3海里，海关缉私界为12海里。戡界事宜交海军部负责办理。
1932年3月，法国政府声称七洲岛应属越南。海军部予以驳斥道：“七洲岛即华语西沙群岛，确属我国领土。前清宣统二年年间，粤省当局曾派舰到该地树旗鸣炮，正式布告中外，至旧中国二十年四月香港远东气象会议开议时，安南观象台台长法人勃鲁逊及徐家汇法国天文台主任劳积勋亦向我国代表申请，由中国建筑西沙观象台，依法律上之解释，该地为我国领土，毫无疑义”。该声明对于侵略我国领海的企图是一沉重打击。
法国驻津领事于1933年派人强行拆毁了天津海军医学校房舍。海军部虽据理力争，但终未能恢复该校。
1934年－1935年间，中国海军部会同外交部、内政部编审出版了《中国南海各岛屿图》，详细标明了东沙、西沙、中沙、南沙各岛、礁、沙、滩的名称和位置，并重申它们均为中国领土。
1932年的旧中国海军编制：
最高机构为海军部，下辖：
总务司：辖文书、管理、统计、交际科；
军衡司：辖铨叙、典制、恤赏、军法科；
军务司：辖军事、军医、军港、运输科；
舰政司：辖机务、修造、材料、电务科；
军学司：辖航海、轮机、制造、士兵科；
海政司：辖设计、测绘、警备、海事科；
经理处：辖总务、会计、审核科；
第一舰队：辖“海容”、“海筹”、“宁海”、“逸仙”、“大同”、“自强”、“永健”、“永绩”、“中山”、“普安”、“定安”、“海鸥”、“海凫”等舰艇。
第二舰队：辖“楚有”、“楚泰”、“楚谦”、“楚观”、“楚同”、“江元”、“江贞”、“永绥”、“民（权”、“民生”、“咸宁”、“德胜”、“威胜”、“江犀”、“江鲲”等舰。
第三舰队：辖“海圻”、“海琛”、“肇和”、“同安”、“镇海”、“永翔”、“楚豫”、“江利”、“定海”、“海鹤”、“海青”、“海鸥”、“海骏”、“海燕”、“海蓬”等舰艇。
第四舰队：辖“福安”、“海瑞”、“海虎”、“广金”、“舞凤”、“江大”、“江巩”等舰艇。
练习舰队：辖“应瑞”、“通济”、“靖安”等舰。
鱼雷游击队：辖“建康”、“豫章”、“湖鹏”、“湖鹰”、“湖鹗”、“湖隼”、“辰”、“宿”、“列”、“张”等舰艇。
海道测量局：辖测量、判图、海务课、引水传习所及“甘露”、“皦日”、“青天”、“景云”、“庆云”、“武胜”等舰艇。
海岸巡防处：辖东沙观象台、各报警台及“海鸿”、“海鹄”、“勇胜”、“诚胜”、“顺胜”、“义胜”、“公胜”、“仁胜”、“长风”艇。日本陆军于1931年在东北发动了“九?—八”事变不久，日本海军又发起凇沪战争（后增派陆军）。战争爆发前，日本海军在中国就驻有大批兵力：台湾有海军高雄警备府，长江流域为第一遣外舰队，旅顺等地设置第二遣外舰队。战争前夕，日本海军又先后抽调了“大井”号巡洋舰，“能登吕”号水上飞机母舰，“夕张”号巡洋舰，第十五、二十二、二十三、三十驱逐队及不少陆战队官兵到沪。日军正式向凇沪发动进攻时，有军舰24艘，飞机近10架，陆战队1800多人。而中国海军舰艇布防却非常分散，在上海高昌庙仅有“通济”号练习舰，“华安”、“普安”号运输舰，“景云”号测量艇，“民生”、“咸宁”号炮舰，“诚胜”号炮艇。其余舰艇则分别停泊在南京（16艘）、通州（3艘）、马尾（4艘）、厦门（2艘）、象山（1艘）、石浦（1艘）、温州（1艘）、镇江（1艘）、江阴（1艘）、大通（1艘）、芜湖（1艘）、定海（1艘）、汉口（2艘）、三都（1艘）、九江（1艘）、青龙港（1艘）、新堤（1艘）、簰州（1艘）。
