1924年，19歲的關麟征進入國民黨陸軍軍官學校(黃埔軍校)，成為第一期學員。他被編為第三隊，并參加了中國國民黨。開學典禮上，孫中山勉勵學員不僅要做一個有高度才能的軍人，而且要做一個不怕苦、不怕死的軍人。“不怕苦、不怕死的軍人”對關麟征一生的戎馬生涯產生了重要影響。

“古北口”戰初告捷

黃埔軍校畢業后，關麟征在經歷了東征陳炯明和中原大戰之后，積累了一定的實戰經驗，也開始逐步顯示出他身上所特有的軍事才能和天賦。“九一八”事變后，關麟征常以“毋忘國恥，收復失地是中國軍人的任務”來教導部下官兵。1932年年底，徐州成立二十五師，關麟征任師長。宣誓就職時，關麟征以抗日救國為主題，號召全師將士誓死抗擊日寇，保衛中華民族。一個軍人的“黃金時代”由此開啟。

1933年年初，日軍攻陷山海關，并進犯察哈爾、熱河境內長城諸口，華北岌岌可危。關麟征奉命開赴古北口抗日。到達前線后，關麟征親臨第一線指揮作戰，猛烈反擊日軍。雙方短兵相接，戰斗慘烈，關麟征被敵人槍彈炸傷多處，渾身是血，但他仍然力戰不退。中山先生在開學典禮上的那句話時時在關麟征耳邊響起。他一定要做一個“不怕苦、不怕死的軍人”。身旁隨從官兵10余人全部戰死，他也毫不畏懼，仍然從容指揮官兵與敵人搏斗，終于將敵人擊退，占領高地。

古北口戰役是自侵略熱河以來日軍受到的第一次沉重打擊。關麟征因古北口抗戰有功，獲國民政府頒發的勛章一枚。他和其他傷員住院期間，北平各大、中學校學生前往慰問獻花者絡繹不絕。《大公報》主筆張季鸞撰寫社論《愛國男兒，血灑疆場》以賀其功。

關麟征的妹妹關梧枝回憶，古北口大捷后，關麟征寫下了一首七言詩：“半壁河山狼煙中，烽火照紅北地冰。長城之外牧寇馬，鐵蹄咫尺危古城。大廈將傾于湯火，神州存亡瞬息中。豈肯折膝求茍安，站直拋顱笑顏生。炎黃子孫多傲骨，我今抗日三請纓。”

“臺兒莊大捷”留英名

1937年七七事變時，關麟征已升任五十二軍軍長。這年秋天，他率部隊在平漢鐵路從事抗日斗爭。9月，他參加了保定戰役。10月，他率五十二軍在漳河南岸擊退日軍土肥原十四師團。轉年，關麟征參加了著名的臺兒莊會戰，他迎來了“打日本鬼子一生”的頂峰。

1938年3月31日下午，由臨沂南下的日軍坂垣第五師團沂州支隊約4000人配備野炮、坦克突然襲擊關麟征的五十二軍指揮部。此時五十二軍的兵力全部投入戰斗，關麟征身邊只有約300人的一個警衛營兵力。關麟征臨危不亂，佯攻迷惑敵人。拖延至黃昏后，增援隊伍趕回，關麟征一舉反攻，把日軍坂垣第五師團沂州支隊包圍，全殲日軍騎兵。此后，關麟征乘勝追擊，大大減輕了臺兒莊外線進攻的壓力，有力地支援了臺兒莊的正面防守戰。不久，關麟征五十二軍、王仲廉八十五軍揮戈南指，加緊對包圍臺兒莊的日軍進攻。白天槍炮轟擊，晚上縱火夜戰，使敵人日夜不寧，先后斃敵1000余人，并將臺兒莊東面的甘露寺、楊樓、陶墩等據點收復。這一勝利，使臺兒莊東北面所受的日軍威脅全部解除。4月6日晚，李宗仁下令全線反攻，中國軍隊在臺兒莊戰役中獲得了輝煌勝利。

臺兒莊戰役后，4月下旬關麟征率軍把日軍岡崎支隊包圍在碼頭鎮西面的北澇溝。關親自指揮部隊勇猛圍殲堵擊敵人，使日軍死傷累累，傷亡慘重，僅日軍四十一、四十二兩個聯隊傷亡即達1400多人，獲得重大戰果。

關麟征因臺兒莊作戰有功，升任第三十二軍團長。當時，在黃埔軍校畢業生中任軍團長的僅有胡宗南和他兩人。在臺兒莊戰役中與關麟征較量過的坂垣征四郎說：“關麟征一個軍應視普通支那十個軍。”關麟征由此得名“關鐵拳”，國內的軍事評論家對他的軍事才能亦大加贊賞。