一、北京政府时期的东北地方海军(1920-1922)
东北地区不仅毗邻渤海，而且区域内河流众多，河网密集，与邻国俄罗斯的边界中很大一部分都是由河流组成的。民国建国后，东北地区尚未建立一支近代化的水上力量。十月革命以后，俄国远东地区局势混乱，各方武装交火频繁。在如此混乱的形势下，保证边界安全成为当务之急。当时，北京政府也决定借俄国内战之机，将被沙俄政府夺占的黑龙江航行权一举夺回。因此，为保证边界安全和黑龙江中国船只的通航权，北京政府海军部决定建立吉黑江防筹备处作为东北地方水上力量的领导和筹备机构，处长为海军部视察王崇文少将。1920年，吉黑江防筹备处更名为吉黑江防舰队，总部位于哈尔滨，舰队主力驻扎于黑龙江、松花江沿线，主要负责保护中国商船安全和防范河匪。这是东北地区第一支近代化的江防力量。
吉黑江防舰队舰只来源主要有两处：其一是吉黑江防筹备处自行置办，包括由小型内河客轮加装武器改装的“江平”“江安”“江通”三艘炮舰和向中东铁路局借调，由巡逻船改装的“利济”舰，上述各舰于1919年至1920年分别入列;其二是调拨自南方海军的北派舰只，包括“江亨”“利捷”“利绥”三艘炮舰和武装拖船“利川”。上述舰只共八艘，构成吉黑江防舰队的核心力量。八舰总排水量为2
200余吨，其中，最大的为日造长江炮舰“江亨”舰，该舰由于具有较强大的火力和优良的通讯能力，被作为舰队旗舰，舰长为陈世英。“利川”舰1925年之后由于航行不便利而被停用，“江防”舰队其后又补充商船两艘，改建为炮艇，并分别命名为“江清”“江泰”。
1919年7月21日，北派四舰自上海北上前往哈尔滨。同年9月，四舰到达位于黑龙江入海口的庙街。
1920年6月，北派四舰到达同江，受到地方官民的热烈欢迎。随舰同行的沈鸿烈始任江防舰队参谋，后升任吉黑江防舰队参谋长。陈季良则在此后返回海军部留任他职。
二、奉系军阀时期的东北地方海军(1922-1928)
20世纪20年代之后，中国进入军阀混战的时代。海军建设需要大量资金支持，且在以陆战为主的内战战场上并不能起到太大作用，因此，得不到重视与发展。1922年春，在财政愈发吃紧的状况下，北京政府将该支舰队从海军部就近划归东三省直辖。
1922年4月28日，第一次直奉战争爆发。仅仅一个星期后的5月5日，奉军就大规模溃败，退回关内。此战过程中，海军的威力得到验证：“……适奉，直战起，……舰队，扼守山海关进港，遇入关奉军辄开炮痛轰之，一次奉军不能源源增援，不得不归于失败……”张作霖本人在撤往关外的过程中也被舰炮轰击，几乎致死。战后，张作霖一方面吸取战败教训，闭关自治;另一方面，也开始整军重建。东北地方的海上力量由于张作霖战时的亲身体会而得到格外关切，成为整军重建的重点。
1922年8月，张作霖设置东北航警处，统一管理东北江海防事务，原任吉黑江防舰队参谋长的沈鸿烈被任命为航警处少将处长，实际统管海军事务。后又设东北海防舰队，与由吉黑江防舰队改编成的东北江防舰队一并置于航警处管制下。此外，又先后开设葫芦岛航警学校和哈尔滨东北商船学校以培养海军人才。
东北海防舰队的舰只主要由两部分构成。第一部分是东北地方自行获得的舰只，包括由外购商船改装的镇海、威海两舰，由外购日本退役鱼雷艇改建的飞鹏舰和第二次直奉战争中缴获自大沽造船所的定海舰。该四舰除飞鹏舰以外，都是千吨以上的大舰，镇海舰更是在其后被改装成能搭载三架水上飞机的水上飞机母舰。这四艘军舰构成了东北海防舰队初创时期的主要力量。
第二部分舰只则主要来自渤海舰队。渤海舰队是直系军阀海上作战的主要力量。1926年冬，渤海舰队主力之一，排水量达4
300吨的海圻舰借赴旅顺大修之机通电全国归附东北，随后抵达东北海防舰队基地长山列岛。以此为标志，渤海舰队舰只逐渐归附东北海防舰队。
渤海舰队六舰均为中国海军舰中翘楚，包括巡洋舰海圻、海琛，练习巡洋舰肇和，驱逐舰同安，炮舰楚豫、永翔。其中，海圻舰于1899年订购自英国，排水量4
300吨，装备203毫米主炮2门，119毫米副炮10门，47毫米副炮12门，鱼雷发射器五座，是当时中国吨位最大、武备最强的战舰。
以1927年渤海舰队归附东北海防舰队为标志，东北地方海上力量达到顶峰。东北海军成为当时中国最强大的海上力量。1927年，东北联合舰队成立，设总司令部于青岛，司令由张作霖兼任(皇姑屯事件后由张学良继任)，副司令沈鸿烈授中将衔，兼任代总司令，为实际舰队指挥