نخست‌وزیری
این‌ها آرزوهای علی رزم‌آرا را برآورده نمی‌کرد. چرا که همه او را با رضا شاه مقایسه می‌کردند. از این رو در انتخابات دورهٔ شانزدهم در ۱۳۲۸ تصمیم به مداخله گرفت و موفق هم بود؛ ولی با کشته شدن هژیر انتخابات تهران دوباره تکرار شد و با مقابلهٔ فضل‌الله زاهدی رئیس شهربانی که رقیب دیرینهٔ او به شمار می‌رفت، نامزدهای جبههٔ ملی و هواداران ملی شدن نفت، به مجلس راه یافتند تا نیرومندترین اقلیت تاریخ پارلمانی ایران را برسازند.

در تیرماه ۱۳۲۹ مجلسی که ظاهراً در اکثریت هواداران رزم‌آرا بود، رأی تمایل به نخست‌وزیری او داد و شاه به‌ناچار آن را پذیرفت و در ۵ تیر ۱۳۲۹ او را به نخست‌وزیری منصوب کرد؛ ولی دربار، جبههٔ ملی در مجلس و نیروهای مذهبی به رهبری سید ابوالقاسم کاشانی در خیابان، از سه جهت بر او می‌تاختند؛ به طوری که او با داشتن دولت، ارتش و اکثریت پارلمان، و در شرایطی که چراغ سبز دو ابرقدرت شوروی و بریتانیا را نیز همراه داشت، یکی از ضعیف‌ترین دولت‌های ایران را در اختیار داشت.

رزم‌آرا قصد داشت قرارداد الحاقی نفت (معروف به قرارداد گس-گلشائیان) را در مجلس به تصویب برساند، اما مخالفت جدّی و گستردهٔ جبههٔ ملی به وی اجازهٔ این کار را نداد که این امر موجب شد که او در ۵ دی ۱۳۲۹ لایحهٔ قرارداد الحاقی را از مجلس پس بگیرد.

اندیشهٔ ملی شدن نفت در میان مردم گسترش یافته بود و رزم‌آرا توان مقابله با آن را نداشت.
با این حال هنگام معرفی هیئت وزیران به شاه و مجلسین، شش وزارتخانهٔ دولت او وزیر نداشت و کابینهٔ نیم‌بند بدون وزیر امور خارجه، راه، پست و تلگراف، کار و دارایی تصویب شد. در مجلس سنا دکتر احمد متین‌دفتری، سید محمد تدین، سرلشکر فضل‌الله زاهدی، حسین دادگر، دکتر محمود حسابی و عبدالحسین نیکپور هیچ‌گاه از مخالفت با رزم‌آرا دست بر نداشتند.

نخست‌وزیری رزم‌آرا با جنجال نفت همراه بود و او ناگزیر شد لایحهٔ قرارداد گس-گلشائیان را که دولت محمد ساعد به مجلس داده بود پس بگیرد. کابینهٔ او چند بار مورد استیضاح قرار گرفت و نهایتاً با سخنانی که دربارهٔ عدم توانایی ملت ایران در ادارهٔ صنعت نفت ایران ابراز کرد، همگان رزم‌آرا را بزرگ‌ترین مانع بر سر ملی شدن نفت شناختند.

رزم‌آرا چنین استدلال می‌کرد که ما توان فنی در اختیار گرفتن کامل صنعت نفت را نداریم و باید به افزایش سهم ایران از سود حاصل، به پنجاه درصد رضایت دهیم. همین باعث شد تا او را به عنوان یک خائن به منافع ملی ایران معرفی کنند. در بیرون از مجلس نیز جریان‌های گوناگون کشور از دربار تا اسلامگرایان تندرو ائتلافی بر ضد رزم‌آرا ایجاد کرده بودند.

ترور
در روز شانزدهم اسفند سال ۱۳۲۹ سپهبد حاج‌علی رزم‌آرا در مسجد شاه تهران کشته شد. خلیل طهماسبی، که پس از دستگیری در همان لحظه خود را عبدالله موحد رستگاری معرفی کرد، عضو فداییان اسلام، گروه اسلامگرای وابسته به نواب صفوی، که آن زمان در اتحاد با آیت‌الله کاشانی و جبههٔ ملی بود، که همان روز مسئولیت آن را به عهده گرفت.

او پس از تصویب قانونی در مجلس شورای ملی مبتنی بر عفو قاتل رزم‌آرا به پیشنهاد شمس قنات‌آبادی و توشیح شاه آزاد شد و پس از کودتای ۲۸ مرداد، که دوباره بازداشت شد، قتل را منکر گشت. بنابر گفته فداییان اسلام، رزم‌آرا، هیچ اختلافی با شاه نداشت و شاه دشمن ملی شدن نفت بود.

فردای قتل رزم‌آرا، روز ۱۷ اسفند ۱۳۲۹ کمیسیون نفت پیشنهاد ملی کردن صنعت نفت را تصویب و اعلام کرد. قانون ملی شدن صنایع نفت در مجلس شورای ملی در تاریخ ۲۷ اسفند ۱۳۲۹ و در مجلس سنا در تاریخ ۲۹ اسفند ۱۳۲۹ به تصویب رسید.


جسد حاج علی رزم آرا

پس از دستگیری خلیل طهماسبی به اتهام قتل رزم‌آرا، «یک اعلامیه از طرف نواب صفوی (رهبر فداییان اسلام) صادر شد که در بالای آن «هوالعزیز» نوشته شده بود. این اعلامیه خطاب به شاه صادر شده بود» و «قاطعانه به شاه دستور می‌داد که باید فرمان آزادی قاتل رزم‌آرا را صادر کند، و برای هر گونه آزاری که وی در زمان بازجویی توسط پلیس دیده است، از او عذرخواهی نماید.»

ابهامات در ترور رزم‌آرا
در مورد علت ترور رزم‌آرا و این که آیا قاتل او خلیل طهماسبی بوده‌است از همان دوران بین افراد گوناگون در صحت موضوع محل نزاع بود. ابوالفضل لسانی وکیل خلیل طهماسبی پس از مطالعهٔ پرونده و نوع گلوله‌ها متوجه می‌شود که گلوله‌ها با هم فرق دارند و گلولهٔ چهارمی که باعث مرگ رزم‌آرا شده‌است از نوع دیگری است. او موضوع را به طهماسبی می‌گوید ولی طهماسبی قبول نکرده و در پاسخ لسانی اظهار می‌دارد که: «شما می‌خواهید افتخار مرا بگیرید و از بین ببرید».

در مورد تناقضات پروندهٔ رزم‌آرا و خلیل طهماسبی مواردی آمده است که می‌توان آن را در میان اوراق بازجویی خود طهماسبی پیدا نمود. در ص ۸۰ کتاب ناگفته عراقی می‌گوید: «که یک خواهری بود که در موقعی که رزم‌آرا نزدیک شد اسلحه را منتقل کرد به خلیل، قبل از آن خلیل اسلحه در اختیارش نبود» اما در اوراق بازجویی طهماسبی می‌گوید که اسلحه را از نواب گرفته‌است.

کتاب اسرار قتل رزم‌آرا نوشتهٔ محمد ترکمان اسناد مربوط به بازجویی‌های طهماسبی در این مورد و حاضرین و محافظین رزم‌آرا را با ذکر موارد تناقض در بیانات آنان نشر داده‌است.
آرامگاه رزم‌آرا در باغ طوطی در حضرت عبدالعظیم است.