عمل روميل كملازم وحارب في فرنسا ورومانيا وإيطاليا. أصيب ثلاث مرات وحصل على وسام الصليب الحديدي من الدرجة الثانية. فضّل روميل أن يبقي كقائد ميداني في ساحة المعركة على منصب أركان حرب. وكانت لديه إرادة وحب أن يدّرس يوما ما في الأكاديميات العسكرية. أخذ روميل الإذن بأن يستخدم خبرته العسكرية ليدّرس أنواعا جديدة من الخطط والتفكير العسكري في كتابه " هجوم المشاة " الذي عرض عام 1937 م. في عام 1938 م تمت ترقية روميل الي رئيس الضباط في مدرسة "وينر نيوستادت" بالقرب من فيينا. في عام 1938، إلتقى روميل بصديقه جوزيف غوبلز وزير الدعاية. غوبلز أصبح من المعجبين المتحمسين لروميل. مع بداية الحرب العالمية الثانية رقٌي روميل الي قائد قوة حراسة هتلر الشخصية. شارك في عام 1939 في الغزو النازي لبولندا. وفي عام 1940 تولي روميل منصب قائد التشكيل السابع لقوات البانزر، وشارك في غزو فرنسا وبلجيكا.
إرفين روميل، قائد القوات الألمانية في شمال أفريقيا 1942
في عام 1941، تم تكليف روميل بدعم القوات الإيطالية في شمال أفريقيا حيث حقق روميل أقوي وأعظم انتصاراته. وصلت أنباء انتصارات روميل إلى هتلر في ألمانيا فأمر بترقيته الي رتبة "مشير". أراد روميل سحب الجيش الألماني من شمال أفريقيا لأنهم لن يستطيعوا أن يواجهوا صيف صحراء شمال أفريقيا ولكن هتلر رفض طلب روميل بل وأمر هتلر بأن يهاجم الجيش الألماني العاصمة المصرية القاهرة وقناة السويس وبالفعل بدأ الجيش الألماني بالأتجاه نحو الإسكندرية حتي أوقفته القوات البريطانية علي بعد مئتي كيلومتر من الإسكندرية. كان روميل قد حقق بعض الانتصارات في مصر ولكن هذه الانتصارات كانت هي السبب في نقص السلاح في القوات الألمانية. خسر معركة العلمين الثانية في مصر على يد الجنرال الإنجليزي مونتغمري قائد الجيش الثامن البريطاني (فئران الصحراء) في أكتوبر 1942 م ليس لعدم كفاءته أو لكفاءة خصمه بل لعدم توفر دعم جوي لديه وكذلك نقص حاد في المحروقات بينما كان خصمه يتمتع بتفوق جوي مطلق ونسبة قواته تعادل 1:3 وقد اختلقت الدعاية البريطانية أسطورة مونتغمري (مونتي) لتعزيز معنويات جنودها المهزوزة ويبقى (مونتي) القائد الحذر الذي يحجم عن استغلال الفرص مستهيناً بالسيقات التكتيكية العسكرية لصالح المحافظة على سمعته فقط. في 3 مارس عام 1943 م قاد إرفين روميل القوات الألمانية والإيطالية في معركة مدنين بالجنوب التونسي التي كانت آخر معاركه في شمال أفريقيا وهي المنطقة التي شهدت أمجاده العسكرية عندما أحدث انقلابا في الفكر العسكري بمناورات شديدة الإبداع أدت إلى تحقيق انتصارات كبيرة على القوات البريطانية وإجبارها على التراجع من مدينة طبرق في ليبيا إلى مصر حتى منطقة العلمين شمال غرب مصر. أمر هتلر بإعادته إلى ألمانيا خاصة وقد ترددت أنباء عن انتقادات روميل لقيادة هتلر. في يوليو عام 1944 وقبل إنزال نورماندي بفترة وجيزة، تعرضت سيارة روميل الي هجوم جوي أثناء احدي غارات الحلفاء لكن روميل استطاع أن يهرب مع بعض الاصابات في رأسه. تم علاج روميل في المستشفي وشفي من جراحه. وفي عام 1944 م تولي روميل مهمة الدفاع عن الدفاع عن الشاطئ الفرنسي ضد هجوم محتمل من قبل قوات الحلفاء. ابتدأت عبقرية روميل في العمل من جديد وأمر بألا يحصل العدو علي أي من المناطق المهمة علي الشاطئ وأمر بتحصينها جيدا وأمن روميل بأن الخط الثاني يجب أن يكون في وضع مساندة القوات التي تدافع عن الشاطئ وأيضا صدق روميل بأن اليوم الأول من المعركة هو الذي سيحدد نتيجة المعركة بأكملها إن لم يهزم العدو وينسحب إلى الشاطئ. لكن للأسف ملاحظاته لم تؤخذ بجدية.