На протяжении почти тридцати лет Маннергейм служил офицером царской армии в званиях от корнета до генерал-лейтенанта. В отличие от многих своих товарищей он проявлял к своей профессии большой интерес.

Первую офицерскую должность Маннергейм получил в 15-м драгунском Александрийском Е. И. В. Николая Николаевича старшего полку, дислоцированном в Польше, где он служил в 1889-1890 годах.

Благородное происхождение, экономическая поддержка родственников со стороны матери и успехи в учёбе открыли перед ним дорогу в почётный гвардейский полк. Он был записан в Кавалергардский полк Е.В. Государыни Императрицы Марии Фёдоровны, где прослужил с 1891 по 1904 год.

Маннергейм с детства увлекался лошадьми, поэтому когда с1897 по1903 годы он оказался на службе в Придворной конюшенной части, эта область деятельности была ему очень по душе. В 1903-1904 годах он служил в Офицерской кавалерийской школе в должности командира образцового эскадрона. Во время Русско-Японской войны Маннергейм для получения военного опыта отправился  в Маньчжурию помощником командира 52-го Нежинского драгунского полка (1904-1905гг.). Это означало перевод из гвардии, но, с другой стороны, благодаря своей инициативе и энергии ему удалось отличиться, так что перед ним открылась перспектива карьеры на командирских должностях в кавалерии.

В 1906-1908 годах он совершил военную разведывательную экспедицию в Китай. После сдачи им рапорта о поездке в Китай Маннергейм был переведён в Польшу на должность командира 13-го уланского Владимирского Е. И. В. В. Кн. Михаила Николаевича полка (он служил там с пятого января 1909 года по 24 декабря 1913 года), а позже - командира Отдельной гвардейской кавалерийской бригады с 24 декабря 1913 года до 24 июня 1915 года. На особое расположение к нему указывал тот факт, что с пятого октября 1912 года он был зачислен в Свиту Его величества.