Das Regiment wurde 1696 durch einen Vertrag Kaiser Leopolds I. mit dem Hochmeister des Deutschen Ordens, Franz Ludwig von Pfalz-Neuburg, aufgestellt und hieß zuerst „Pfalz-Neuburg-Teutschmeister“, wurde aber bald nur noch „Teutschmeister“ genannt. Das Regiment wurde in Franken geworben und sammelte sich in Donauwörth, um am 3. Juni 1696 in den kaiserlichen Dienst übernommen zu werden.
Das Regiment nahm am Großen Türkenkrieg teil und war die meiste Zeit in Siebenbürgen eingesetzt. Am 11. September 1697 schlug das Teutschmeister-Regiment bei Zenta seine erste große Schlacht. Das Regiment zeichnete sich dabei so aus, dass der Kaiser auf den Bericht des Prinzen Eugen ein Dank- und Anerkennungsschreiben an den damaligen Kommandeur des Regiments, Damian Hugo Freiherr von Viermund zu Neersen, erließ. 1717, in der Schlacht von Belgrad, fiel der Kommandeur Damian Casimir von Dalberg. Im Siebenjährigen Krieg nahm das Regiment 1757 an der Schlacht bei Kolin teil, worauf sich auch sein Traditionstag, der 18. Juni 1757, zurückführt. Nach diesem Krieg wurden dem Regiment die Gegend des Wienerwaldes und die Wiener Vorstädte zur Werbung zugewiesen, worauf hin es sich zum Wiener Hausregiment entwickelte. Bei Einführung der Stammnummern für Infanterieregimenter 1769 erhielt das Regiment die Nr. 4. Inhaber des Regiments war der jeweilige Ordenshochmeister, dessen Amt von 1530 bis 1929 umgangssprachlich „Hoch- und Deutschmeister“ genannt wurde, so dass 1814 der Regimentsname offiziell in „Hoch- und Deutschmeister“ geändert wurde. Nach Verlust der Souveränität des Ordens 1806 war bis 1918 stets ein HabsburgerErzherzog Inhaber.
Im August 1914, kurz vor Beginn des Ersten Weltkriegs gehörte das Regiment (zu 95 % bestehend aus Deutschen) zum II. Armeekorps und war in Wien stationiert. Kommandant war Oberst Freiherr Ludwig von Holzhausen.
Im Jahre 1915 verloren alle Regimenter ihre Zusatz- und Ehrennamen und wurden nur noch nach ihrer Stammnummer benannt. Von da an hieß das Regiment offiziell nur noch Infanterie-Regiment Nr. 4.