Русско-Японская война велась на территории Кореи и Маньчжурии в 1904-1905 годах. Российская армия и флот оказались не способны к эффективному ведению войны на дальней арене, а в России тем временем начались внутренние волнения. Война, закончившаяся поражением, имела далеко идущие последствия для России и Финляндии, где в 1905 году была проведена реформа парламента и вместе с этим  закончился первый "период притеснения" со стороны России.
 

В Японской военной кампании Маннергейм участвовал с десятого ноября 1904 года по четвёртое июня 1906 года. Он был помощником командира Нежинского драгунского полка и принимал участие в битвах при Сандепу, Инкоу и Мукдене. Командир 3-й Маньчжурской армии наградил его орденом Станислава 2-го класса с мечами и орденом Анны 2-го класса с мечами, а главнокомандующий воевавшими против Японии морскими и сухопутными силами – орденом Владимира 4-го класса с мечами и лентой. За боевые заслуги император присвоил ему 29 ноября 1905 года звание полковника.