Er schätzte auch die militärischen Errungenschaften der Deutschen, obwohl er ihre Schwierigkeiten in den Wildnissen Finnlands feststellen musste.

In seinem Dienst an der polnischen Grenze war Deutschland der wahrscheinliche Feind, und im ersten Weltkrieg wurde von ihm der wirkliche Feind. Trotzdem war er im Jahr 1918 unter bestimmten Voraussetzungen bereit, neben den Deutschen zu kämpfen. Die Meinungsverschiedenheit mit den Vertretern Deutschlands im Mai 1918 war ein wichtiger Grund für seinen Austritt aus des Stellung des Oberbefehlshabers.

Im Jahr 1918 rechnete Mannerheim in seinen Plänen über Petrograd teilweise auf die Unterstützung Deutschlands: es sollte eine Situation herbeigeführt werden, wo Deutschland passiv Finnland unterstützen würde und England dem Vormarsch der finnischen Truppen nach Russland zustimmen würde. Mannerheim vertrat die Ansicht: "Der Krieg wird nicht durch einen überlegenen Sieg einer Macht beendet, deswegen sollte auch Finnland mit keiner Macht in Zwietracht geraten." Für Finnland sei wichtig, dass es in den Friedensverhandlungen die allgemeine Sympathie an seiner Seite habe, und "diese können wir haben, weil wir gegen den Anarchismus und für die gesetzliche Ordnung und Kultur gekämpft haben". Deutschland war jedoch schwächer, als Mannerheim glaubte.

Zwischen den Weltkriegen reiste Mannerheim viel in Deutschland und als Vorsitzender des Verteidigungsrates war er bereit, dort Waffen zu beschaffen. Zwar hatte er dabei keinen Erfolg.

Beim Ausbruch des zweiten Weltkrieges trat Mannerheim eindeutig für die Westmächte gegen "Unruhstifter" und Unterdrücker ein. Die Folgen des Paktes zwischen Stalin und Hitler - u.a. der Winterkrieg - bekräftigten noch seine Auffassung.

Als Norwegen in die Hände Deutschlands geriet, wurde Finnland militärpolitisch umgezingelt. Es führte dazu, dass man sich den Einfluss Deutschlands zu fügen versuchen musste. Deutschland begann sich Finnland in der Vorbereitung der kommenden Barbarossa-Operation ausdrücklich "auf militärischem Wege" zu nähern. Der Waffenhändler Veltjens begann die Verhandlungen über das Transitabkommen eben durch Mannerheim. Im Winter 1940/41 bekräftigte Mannerheim die Entschlossenheit der Regierung Finnlands sich der Forderung der Sowejetunion widersetzen, die Nickelgrube von Petsamo unter ihre Kontrolle zu nehmen.

Vom Mai bis Juni 1941 verhandelten die von Mannerheim beauftragten Offiziere mit den Deutschen einen Koordinationsplan für den möglichen Krieg zwischen Deutschland und der Sowjetunion. Als der Krieg dann am 22.6 (für Finnland am 25.6) ausbrach, fühlte sich Mannerheim zu den erwähnten "Abmachungen" verpflichtet, falls die Massnahmen im Interesse Finnlands wären und von der Staatsführung befürwortet würden.

Zwischen Deutschland und Finnland herrschte eine eigenartige "Waffenbrüderung", die sich nicht auf einer Allianz gründete. Zum Beispiel kämpften in den Reihen der finnischen Armee Juden mit, obgleich es in der deutschen Armee unmöglich war. Während der Waffenbrüderung versuchte Mannerheim seine Beziehungen zu Deutschland auszunutzen - u.a. durch Göring - um solche gefangene Personen, die zur Zuständigkeit Deutschlands gehörten, zu befreien. Der Beschluss Finnlands, die mit verschiedenen Anklagen geforderten Flüchtlingsjuden Deutschland nicht zu überliefern, gründete sich teilweise auf seinem Einfluss.

Mannerheim schätzte im Sommer 1941 wahrscheinlich ein, dass Deutschland die Sowjetunion schnell siegen würde. Diese Einschätzung musste er im Oktober und November 1941 verändern, als der Angriff Deutschlands wegen des Winters stecken blieb. Im November 1942, als die Truppen der Alliierten in Ostafrika landeten, war er sicher, dass Deutschland den Krieg verliert. Die Deutschen unterstützten Mannerheim in der Kriegsführung, aber misstrauten ihm wegen seiner bekannten anglophilen Einstellung. Als die Kriegsführung der Finnen passiv wurde, fühlten sich die Deutschen veranlasst, Mannerheim wegen des Defaitismus zu tadeln.

Als die Sowjetunion im Juni 1944 Finnland durch ihren Grossangriff drückte und die Kapitulation forderte, versprach Präsident Ryti persöhnlich - um die Unterstützung Deutschlands zu sichern -, dass Finnland keinen Sonderfrieden (das sogenannte Ribbentrop-Abkommen) schliessen würde. So entstand das Bündnis, aber Mannerheim als Präsident betrachtete das Versprechen nicht für sich verbindlich. Anfang September 1944 schrieb er einen Brief an Hitler, wo er mitteilte, dass Finnland gezwungen war, das Waffenstillstandsabkommen mit der Sowjetunion zu schliessen.