Он ценил также германские военные достижения, несмотря на то, что ему пришлось признать сложность их использования в глуши Финляндии.
Во время службы в Польше Германия была вероятным противником, во время первой мировой войны она стала действительным врагом. Тем не менее в 1918 году он при определённых условиях был готов сражаться рядом с немцами. Разногласия с представителями Германии в мае 1918 стали одной из важнейших причин его ухода с поста главнокомандующего.
В 1918 году Маннергейм рассчитывал в своих петербургских планах на некоторую помощь Германии: необходимо было создать ситуацию, в которой Германия стала бы пассивной опорой Финляндии, и в которой Англия могла бы одобрить продвижение финских войск на Российскую территорию. Маннергейм считал: "Война не закончится грандиозной победой одной из сторон, поэтому Финляндии не следует ссориться ни с одним из государств". Для Финляндии было важно, чтобы во время мирных переговоров на её стороне оказались общие симпатии, и "они могут быть на нашей стороне, поскольку мы сражались против анархизма за законный порядок и культуру". Германия однако была слабее чем полагал Маннергейм. Между мировыми войнами Маннергейм много путешествовал по Германии, и в качестве председателя совета обороны он был готов закупать там оружие, однако без особого успеха. После внезапного начала второй мировой войны Маннергейм стоял явно на стороне западных государств, против "нарушителей спокойствия" и поработителей. Последствия пакта Сталина и Гитлера – в т.ч. зимняя война – не могли не укрепить его представлений.
То, что Норвегия оказалась в руках Германии, изменило военно-политическое положение Финляндии, она оказалась в окружении, что привело к необходимости попытаться приспособиться к влиянию Германии. Германия начала сближаться с Финляндией при подготовке операции Барбаросса именно "военным путём". Военный коммерсант Велтьенс начал консультации по договору о транзитных поставках именно через Маннергейма. Зимой 1940/41 Маннергейм подтвердил решимость правительства Финляндии возражать против требований Советского Союза о контроле никелевых рудников Петсамо.
В мае-июне 1941 уполномоченные Маннергеймом офицеры обсуждали с немцами подготовленный заранее координационный план на случай войны между Германией и Советским Союзом, и когда эта война 22.6. (со стороны Финляндии 25.6.) разгорелась, Маннергейм посчитал упомянутые "соглашения" обязывающими для себя, поскольку мероприятия соответствовали интересам Финляндии и были одобрены руководством государства. Между Германией и Финляндией установились особые отношения, "братство по оружию", которое не было основано на союзническом договоре. В Финляндской армии например воевали евреи, хотя в Германской армии это было невозможно. Во время братства по оружию Маннергейм пытался использовать свои германские связи – в т.ч. через Геринга – для того, чтобы освободить заключённых, находящихся в компетенции Германии. Частично на его авторитете было основано решение не выдавать Германии евреев-беженцев, затребованных по различным причинам.
Возможно, летом 1941 года Маннергейм полагал, что Германия сможет быстро победить Советский Союз. Это мнение ему пришлось изменить в октябре-ноябре 1941, когда наступление Германии застряло в распутице, а в ноябре 1942, когда войска западных государств высадились в Западной Африке, в нём крепла уверенность, что Германия может проиграть войну. Немцы поддерживали Маннергейма в ведении войны, но не доверяли ему из-за его известной англофилии. Когда военные действия финнов стали пассивными, немцы получили повод упрекнуть его в пораженческих настроениях.
С началом крупного наступления Советского Союза на Финляндию в июне 1944 и под давлением требования о капитуляции президент Рюти пообещал лично – чтобы гарантировать помощь Германии – что Финляндия не будет заключать сепаратный мир (т.н. соглашение с Риббентропом). Так зародились союзнические отношения, но Маннергейм, став президентом, не посчитал себя связанным обещанием. В начале сентября 1944 он отправил Гитлеру письмо, в котором сообщил, что Финляндия вынуждена заключить перемирие с Советским Союзом. Спустя несколько недель Германия попыталась захватить финский остров Суурсаари (Гогланд) в Финском заливе, так начались военные действия между Германией и Финляндией, которые в Финляндии называются Лапландской войной (1944-1945).
