A rottweiler származásáról nincsenek írásos vagy tárgyi bizonyítékaink. Elismert fajtává válásakor küllemére, illetve a régi római birodalomban őshonos hajtókutyákkal való hasonlóságra alapozva próbálták történetét rekonstruálni. A rómaiak harci- és hajtókutyáit több korabeli forrás is megbízható és kemény, masztiff típusú ebként írja le, mely nagy munkakedvvel, kiemelkedő intelligenciával és erős őrző-védő hajlammal rendelkezett. A molosszoid elnevezés egyébként egy görög népcsoporttól, a molossziaiaktól származik, akik Epiruszban éltek, és vadászkutyáikról váltak híressé.

A római hajtókutya és a mai rottweiler közötti átmenetet a római uralkodók egész Európára kiterjedő hódító törekvései fémjelzik. Hatalmas seregek keltek útra, dacolva minden nehézséggel, hogy kitágítsák a Római Birodalom határait. Nemcsak az ellenség legyőzése, hanem a katonák élelmezése is kiváló szervezőkészséget igényelt a légiót irányító hadvezérektől.

Mivel mélyhűtő vagy konzerv még nem létezett, az élelmiszer lábon követte a sereget, azaz élő állatokat hajtottak utánpótlásként. Ennyi jószág irányításához és kezeléséhez megfelelően erős és kitartó kutyákra volt szükség, melyek nemcsak a csorda hajtásában jelentettek nélkülözhetetlen segítséget, hanem annak megvédelmezésében is, farkastól és marhatolvajtól egyaránt. A masztiffszerű kutyáknak sziklás hegyeken, hómezőkön, folyókon és minden elképzelhető terepen át kellett kísérniük a csordát. A római hadjáratok egyike, időszámításunk szerint 74-ben, keresztülvágott az Alpokon, és elérte a mai Németország déli részét.

Az éppen uralkodó, Flavius-házból származó császár után a rómaiak az Arae Flaviae nevet adták az újabb meghódított területnek, mely minden szempontból nagyon jó adottságokkal rendelkezett, klímája, talaja egyaránt jó volt, akárcsak központi fekvése. A rettenthetetlen római hajtókutya Rómából a Neckar partjaihoz is elkísérte urait. Nincs okunk kételkedni abban, hogy ezek a kutyák, illetve leszármazottjaik tovább éltek és dolgoztak ezen a területen a következő két évszázadon át, és nyilván helyi kutyákkal keveredtek. A római ciszternák feltárásakor kutyacsontok is a felszínre kerültek, sőt egy 180-ból származó mozaik kép a hárfázó Orpheuszt ábrázolta, oldalán egy kutyával. Kb. 260-ban a svábok kiűzték a rómaiakat Arae Flaviae területéről, és átvették az uralmat.

A mezőgazdaság és a marhakereskedés azonban tovább folyt, sőt elsődleges megélhetés maradt a vidéken, továbbra is biztosítva a kutyák fennmaradását is. 700 körül a helyi uralkodó elrendelte egy keresztény templom építését az egykori római fürdők területén: ekkor kerültek elő a római házak vörös cserepei, csempéi; innen ered a „das rote Wil” („vörös cserép”) elnevezése e településnek, melyből a mai Rottweil ered.

Rottweil kulturális és kereskedelmi dominanciája egészen a XII. század közepéig nőtt és gazdagodott, a marhakereskedelem is virágzott. Állítólag a marhakereskedők, mielőtt temérdek alkohol elfogyasztásával megünnepelték volna az aznap kötött jó üzleteket, arannyal teli erszényüket kutyájuk nyakörvére kötötték. Így biztosan senki sem tudta ellopni a bevételt! Egyre több ebre volt szükség, hogy a piacra, a mészárszékre hajtsák a jószágot. Az egykori római birodalom kutyáinak leszármazottjai egészen a XIX. századig szorgalmasan végezték munkájukat, mikor is törvény tiltotta be a marha lábon történő hajtását nagyobb távolságokra, ráadásul a kutyás kordé szerepét is átvette a szamárfogat, majd később a vasút.

A rottweili mészároskutya nehéz időket élt át. Ha nem tudta saját maga előteremteni a betevőt, nem tartotta el senki, hiszen feladat nélkül maradt. Olyannyira lecsökkent az állomány, hogy 1882-ben egy heilbronni kiállításon csupán egyetlen árva rottweiler képviselte fajtáját. Ludwig Beckmann 1894-ben írt könyvében már nem szentel önálló fejezetet a rottweili mészároskutyának, mert szerinte annak nincs esélye a túlélésre.

Egészen 1901-ig nem sokat hallani a fajtáról, ebben az évben azonban megalakult egy kombinált rottweiler és leonbergi klub, mely ugyan rövid életű volt, de égisze alatt hivatalos rottweiler standard született.

1901 és 1907 között azonban egy új munkalehetőség segítette a fajta újjáéledését, mely ismét divatba jött, mint rendőrségi kutya. 1907. január 13-án megalakult az első önálló fajtaklub is, a Heidelbergi Német Rottweiler Klub. 1910-ben az Első Német Rendőrkutya Egyesület hivatalosan is elismerte a rottweilert mint rendőrkutya-fajtát. Ezt követően több klub alakult, melyek végül 1921. augusztus 14-én Általános Német Rottweiler Klubbá egyesültek (Allgemeiner Deutscher Rottweiler Klub – ADRK), mely napjainkban is szigorúan őrködik a fajta felett, átvészelve a második világháború ínséges éveit is. Aga von Hagen grófnő 1955-ben írott sorai a rottweilerről szóló könyvében napjainkban is igazak: „Világosan megkülönböztethető a szolgálatban és a szolgálaton kívül levő eb.

A vad őrkutya a magánéletben báránnyá változik. Semmi nyegleség sincs a rottweilerben. Nemes tulajdonságokkal van megáldva: erős, vidám és melegszívű”.