宥州設(shè)立于開元二十六年，即公元738年。

開元九年，居住在這帶的胡人康待賓起兵反唐，唐王朝在鎮(zhèn)壓叛亂后，將參加起義的民眾疏散到江淮渚州。而這些人世代游牧，遷徙無定，不習慣中原的農(nóng)耕生活，日夜思念故土，迫切要求返回故鄉(xiāng)。于是，開元二十六年，朝庭命宰相牛仙客在后世的鄂托克前旗設(shè)一新州，以安置從江淮地區(qū)返回的民眾，并將此州取名宥州，以示唐政權(quán)的寬宥之意。