북벌 문제와 쿠이비셰프와의 갈등으로 인해 장개석과 공산당의 갈등이 심해지기 시작했고 장개석과 소련 사이에서도 불안한 조짐이 나타나기 시작했다. 1926년 3월에 들어서자 공산당의 정치주임 교관 고어한이 황포군관학교가 전혀 혁명적이지 않다는 비판을 하였고 노골적으로 "국민당 안에도 한 사람의 돤치루이(段祺瑞, 청나라 말기 안휘군벌의 수장으로 중화민국의 임시총통으로 지냈다가 숙청된 인물)가 있다. 북방의 돤치루이(段祺瑞)를 타도하려면 먼저 내부의 돤치루이(段祺瑞)를 타도하지 않으면 안 된다."는 발언을 함으로써 국공 간의 대립이 심화되었다. 설상가상으로 2월 3일, 장개석과 돈독하게 지내던 미하일 보로딘이 소련 본국의 소환에 따라 귀국한다는 구실로 인해 중국 북방으로 이동하고 적대적인 쿠이비셰프가 소련 고문단장이 되자 장개석의 불안감은 소련에 대한 불신으로 변했고 이러한 불신은 더욱 심화되었다. 소련 당국이 미하일 보로딘을 소환한 것은 중국의 적화가 늦어지고 있다 판단하여 그에 대한 문책으로 소환을 감행한 것이다.

3월 7일, 황푸군관학교 교육장이자 국민혁명군 정치부 주임이었던 덩옌다(鄧演達, 1895~1931)가 장개석을 비방하는 잡지 등이 인쇄되어 배포되고 있다고 보고하게 된다. 덩옌다는 공산당원으로 훗날 장개석과 대립하다가 장개석에게 처형된 인물이다. 이 시기의 장개석 음해하는 각종 선전, 선동에 대해서 중화민국 측은 공산당을 배후로 지목하고 있을 정도였다. 조너선 펜비가 저술한 <장개석 평전>에 따르면, 이 때 장개석을 노린 두 차례의 암살 시도가 행해졌다고 한다. 공산당의 갈등을 비롯한 온갖 정치적인 난관으로 인해 장개석은 극도의 불안감과 스트레스를 호소하며 정치에 대한 환멸을 드러내었고 중산함 사건 직전에는 산터우(汕頭)로 가서 요양할 것을 준비하기도 하였다. 장제스의 비서가 된 천리푸(陳立夫, 1900~2001)는 장개석이 당시에 조울증과 분노 조절 장애에 시달렸으며 극도의 스트레스로 인해 건강이 좋지 않았다고 평가했을 정도였다.
한편 공산당이 북벌에 반대하고 있는 사실에 분노한 장개석은 2월 1일 국민혁명군 총감 임명을 거부하고 2월 2일, 광저우 위수사령관 및 군사위원회 위원 자리도 사직하겠다고 나서면서 정치 일선에서 물러나 공산당과 정면대결을 벌이려고 했다. 더불어 왕징웨이가 이에 답하지 않자 2월 27일, 장제스는 왕징웨이를 찾아 사직서의 수리와 북벌에 반대하는 쿠이비셰프의 귀국 중 선택하라며 요구했다. 이렇게 시작된 장개석과 왕징웨이 간의 관계 악화는 단순히 왕징웨이가 쿠이비셰프 등 소련 고문들의 말에 혹하여 북벌을 외면한다는 장개석 측의 주장보다 더 복잡한 정황들이 존재하고 있었다. 당시 국민당 내부에서 장개석이 가장 강력한 군부에서의 실력자라는 것은 사실이었으나 탄옌카이(譚延闓), 리지선(李濟深), 주페이더(朱培德)를 비롯한 무시할 수 없는 장개석 못지 않은 군사 실력자들이 존재했다. 왕징웨이는 이들 사이를 중재하며 권위를 행사하곤 했는데 이는 자신의 군사적 기반을 장개석에게만 의존할 수밖에 없었던 왕징웨이가 여러 군사 실력자들을 포섭하여 자신의 정치적 자산으로 삼으려 했던 것이다.
장개석에게 의존도가 높아질수록 그를 통제하기 어려우니 탄옌카이(譚延闓), 리지선(李濟深), 주페이더(朱培德) 등을 이용해 장개석을 견제했다. 왕징웨이는 이러한 군사적 권위의 확보를 쿠이비셰프와 협력하여 행했고 장개석은 왕징웨이의 이와 같은 움직임에 대노하며 그의 의도를 의심할 수밖에 없었다. 2월 중순, 장개석은 이와 같은 정치적인 난관을 타개하기 위해 소련을 방문하기로 결심하고 이 문제에 대해 왕징웨이와 상의했다. 왕징웨이는 장개석의 소련 외유에 대해 긍정적인 반응을 보였고 이에 장개석은 문건을 정리하고 여행비를 홍콩 달러로 환전한 다음, 부두로 향하게 된다. 그때 비서 천리푸가 광저우에 머무르지 않은 상태에서 이 난관을 타개할 수 있겠는지에 대해 물었고 한참을 고민한 장개석을 차를 다시 광저우로 돌렸다. 그리고 장개석은 자신이 소련 외유를 취소한 이유에 대해 다음과 같이 설명했다.
"나는 이때, 만일 내가 광동을 떠나지 않으면 뜻밖의 사건이 발생할지도 모른다고 생각했다. 그러나 나는 사직이 정식으로 승인되지 않았다. 만일 스스로 광동을 떠나면 직무를 포기하고 달아난 죄를 입게 되는 것이다."
이에 장개석은 왕징웨이와 소련이 합작하여 자신을 제거하려 한다는 의심을 품게 되었고 이는 끝도 없는 대립으로 격화되었다. 이러한 두 인물의 충돌이 격화된 사건은 왕마오궁(王懋功) 사건이 발단이었다. 원래 왕마오궁은 쉬충즈의 부하 출신으로, 쉬충즈 숙청 이후 제1군 2사단장에 임명되었는데 장개석은 그가 뛰어난 군사적 능력을 갖고 있다 생각하여 광저우 위수사령관 대리로 임명할만큼 신뢰했다. 그런데 왕징웨이와 쿠이비셰프가 왕마오궁에게 접근하여 그에게 3만 위안의 군비를 지급하자 이에 격분한 장개석은 왕마오궁을 제거하기로 결심하고 쿠이비셰프가 사주해 국민당 내에서 쿠데타를 일으키려 했다 주장하게 된다. 그리고 2월 26일, 왕마오궁을 체포하여 2사단장 자리에서 해임했으며 이 사건을 두고 상당수의 전문가들은 장개석이 왕징웨이에게 보내는 경고의 의미로 해석하고 있다.
이와 같이 장개석과 왕징웨이, 공산당의 갈등이 깊어지던 가운데 중산함이 출항하게 된다. 중산함은 원래 영풍함 사건 때 쑨원의 목숨을 구할 때 결정적인 공을 세운 기함인 영풍함으로 쑨원의 사후 그를 기리기 위해 쑨원의 호인 중산(中山)을 붙여 중산함으로 개명되었다. 중산함이 출항하게 된 경위는 1926년 3월 18일 오후 6시, 황푸군관학교 교통계 직원 리스융이 교장판공청 주임 쿵칭루이에게서 상선 한 척이 습격을 당했으니 순시선 1척과 위병 16명을 파병해달라는 요청을 받게 된다. 이에 리스융은 광저우의 황푸군관학교 사무실에 전화해 순시선 파견을 요청했고 광저우 판사처 교통계 직원 왕쉐천(王薛晨)이 이를 교통계장 어우양중(歐陽中)에게 보고했다. 이때 전화상태가 매우 좋지 않았기 때문에 왕쉐천은 이러한 파견 요청의 주체가 교육장인 덩옌다라고 생각하여 보고하고 해군국에 교섭해줄 것을 요청하면서 교섭을 기다리지 않고 순시선 1척을 파견한 것에서부터 문제가 시작되었다. 해군국을 찾아간 어우양중은 마침 자리를 비운 해군국장 리즈룽 대신에 해군국 참모청 작전과장 쩌주이에게 자신의 직원이 교육장으로부터 교장의 명령을 전달받았다고 하면서 병함 2척을 황푸로 보내줄 것을 요청했다.
이 말을 들은 쩌우이는 상황이 급박할지도 모른다 여겨 보벽함을 황푸로 파견한 다음에 리즈룽에게 편지를 보내 사정을 알리고 중산함과 자유함 두척 중 어느 배를 보낼 지 결정해달라고 하였다. 리즈룽은 자유함을 파견하기 위해 함장 셰충젠과 접촉했으나 자유함이 수리 중인지라 중산함을 보내기로 하고 어우양중에게 정식 공문서를 보낼 것을 요청했다. 그리고 보벽함과 중산함 함장에게도 공식 명령서 교부를 요청했다. 이 과정을 살펴보면, 순시선 한척 파견 요구가 병함 두어척 파견 요구로 바뀌고, 교장판공청 주임의 요청이 교육장을 통한 교장의 명령으로 바뀐 것이 보인다. 8시 30분, 해군국으로 돌아온 어우양중이 10시에 황푸로 전화해 해군국과 교섭하여 병함(보벽함) 1척을 보냈으니 12시 쯤 도착할 것인데 보초들이 오해하지 않도록 조치해달라고 전했다. 중산함은 19일 오전 7시에 출항, 황푸에 도착했다. 황푸에 도착한 후 대리함장 장퉁신은 교육장 덩옌다를 만나려 했으나 그와 일정이 맞지 않아 부관 황전우를 대신 만났다.
장퉁신은 황전우에게 리즈룽의 명령서를 황전우에게 보여주고 장개석의 명령을 받으러 왔다고 했다. 이 시점에서 리즈룽은 소련의 조사단이 중산함을 시찰하려 한다는 쩌우이의 보고를 받고 장개석에게 중산함을 회항시켜도 되겠느냐고 전화로 묻게 되었다. 당연히 배의 출항을 명령한 적이 없었던 장개석은 매우 경악하게 된다. 이처럼 중산함의 출항은 오해로 빚어진 단순 사고로 보였다. 그런데 장개석의 주변에는 매우 정황이 좋지 않은 일이 발생하고 있었다. 1926년 3월 18일 아침, 왕징웨이의 아내 천비쥔이 장제스의 집에 2시간 동안 5차례나 전화하여 장제스의 일정에 대해 물은 일이 발생했다. 전화가 왔을 때 장제스는 부재 중이어서 장제스의 아내 천제루가 전화를 받았다. 천비쥔은 당뇨병을 앓고 있는 왕징웨이를 대신하여 전화했다고 하면서 장제스가 언제 황푸로 가는지, 어느 부두로 가는지를 물었다. 천비쥔은 매우 부유한 상속녀로 까다롭기로 유명한 사람이었고 장개석에게 일방적으로 이혼당해서 적대적인 회고록을 남긴 천제루조차도 그 날 천비쥔의 전화는 매우 수상했다는 회고를 했을 정도다. 장개석이 황포군관학교에 전화를 걸자 중산함이 황푸 섬으로 오고 있다는 보고가 들어왔고 공산당원 후궁몐 긴급하게 대화를 나눈 뒤, 정체불명의 전화가 장개석의 행방을 추궁하자 그는 집을 뛰쳐나갔다.
그 사이 덩옌다가 장개석의 집을 방문했고 비서인 천리푸는 "덩옌다가 장제스의 행방을 묻지 않았다. 마치 그는 무슨 일이 발생했는가를 사전에 알고 있는 듯했다." 라며 그가 가장 의심스러웠다고 전한다. 장개석이 집에 돌아온 뒤인 오전 10시, 리즈룽이 전화 상으로 전날 밤 황푸에 파견한 중산함을 돌아오게 해도 되겠냐고 물어보자 장개석은 회항을 허가한다. 저녁 6시가 되어 중산함은 광저우로 돌아가긴 했으나 군함의 증기를 끊지도 않고 무기도 전투대형으로 배치해 놓게 되자 장개석은 자신에 대한 음모가 진행되고 있다고 생각해 장개석은 광저우로 가게 된다. 해군학교 부교장이자 쑨원주의학회 회원 어우양거(歐陽格)에게 함대사령 권한을 부여하여 중산함을 진압하고 리즈룽을 구속, 심문할 것을 지시하여 그를 체포했다. 평소에도 자신의 군권을 위협할 수 있는 세력이 공산당이라는 것을 파악한 장개석은 국민당 곳곳에서 형성된 공산 세력을 돌파하기 위해 1926년 3월 20일, 자정을 기해 계엄령을 선포하여 쿠데타를 일으키게 된다. 이것이 바로 중산함 사건에 이은 3.20 쿠데타로 알려지게 된다.