ทหารสารวัตร ถือกำเนิดในรัชสมัยของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว รัชกาลที่ ๕ โดย ในปี พ.ศ.๒๔๔๐ สมเด็จพระเจ้าลูกยาเธอพระองค์เจ้าจิระประวัติวรเดช ทรงสำเร็จวิชาการทหารแผนปัจจุบันจากประเทศในทวีปยุโรปและเสด็จกลับมารับ ราชการในกระทรวงกลาโหม พระองค์ทรงปรับปรุงกิจการทหาร โดยจัดให้มีการจัด เหล่าทหารต่างๆตามแบบอย่างในต่างประเทศ จนสามารถเรียกได้ว่าเป็นกำลังกองทัพบก อีกทั้งยังได้จัดให้มีการฝึกและเปลี่ยน การใช้คำบอกคำสั่งต่างๆ จากภาษาต่างประเทศมาเป็นภาษาไทย มีการกำหนดเครื่องแบบและเครื่องหมายสังกัดเป็นระเบียบโดย แน่ชัด รวมทั้งได้ทรงตรากฎ ระเบียบและวินัย ซึ่งทหารจะต้องปฏิบัติตามโดยเคร่งครัด
ด้วยเหตุนี้จึงจำเป็นต้องมีสารวัตรทหาร เพื่อ ตรวจตรา กำกับ ดูแล ระเบียบวินัยของทหารภายนอกบริเวณโรงทหาร แต่ขณะนั้นยังไม่ได้มีการจัดตั้งเหล่าทหารสารวัตรขึ้นอย่างเป็นรูปธรรม คงดำเนินการโดยให้แต่ละหน่วยจัดหมู่ตรวจออกไปผลัดเปลี่ยนกันตรวจตราบริเวณ ตลาด ชุมนุมชน เพื่อดูแลให้เกิดความเรียบร้อย โดยเฉพาะอย่างยิ่งการกวดขันทหารให้อยู่ในระเบียบ วินัยอันดี และได้แต่งตั้งให้ผู้ดำรงตำแหน่งสารวัตรใหญ่ทหารบกเป็นผู้ควบคุม กำกับดูแลการปฏิบัติในเรื่องดังกล่าว
เมื่อวันที่ ๒๗ มีนาคม พุทธศักราช ๒๔๕๐ สมเด็จพระเจ้าลูกยาเธอพระองค์เจ้าจิระประวัติวรเดช ซึ่งดำรงตำแหน่งตำแหน่งผู้บัญชาการกรมยุทธนาธิการ ได้ออกข้อบังคับกำหนดหน้าที่สารวัตรใหญ่ทหารบกขึ้นเป็นครั้งแรก
ดังนั้นกองทัพบกจึงอนุมัติให้ วันที่ ๒๗ มีนาคม ของทุกปี เป็นวันทหารสารวัตร
ทั้งนี้ เพื่อเป็น ขวัญและกำลังใจแก่ข้าราชการเหล่าทหารสารวัตร ในอันที่จะสร้างเสริมความสามัคคี และเป็นสิริมงคลต่อเหล่าทหารสารวัตรสืบต่อไป
ตั้งแต่นั้นเป็นต้นมากิจการสารวัตรทหารได้รับการปรับปรุงมาโดยตลอดจนถึง ปีพุทธศักราช ๒๔๗๖ ได้กำหนดให้ทุกมณฑลทหารบกจัดให้มีสารวัตรทหารขึ้น โดยมีหน้าที่ตรวจตราภายในท้องที่ของแต่ละมณฑล ซึ่งสารวัตรทหารเหล่านั้นประดับ ปลอกแขนสีแดงที่แขนข้างขวา และมีจักรสีทองขนาดย่อมติดทับปลอกแขน จึงเป็นเหตุให้ได้รับสมญานามว่าพวกทหารแขนแดง ซึ่งต่อมาได้พัฒนาเป็นปลอกแขนสีแดงและมีอักษรคำว่า สห สีขาว ติดอยู่ดังเช่นทุกวันนี้
