Sawyer 1968-ban született. Élete nyolc év múlva egy tragédia miatt gyökeresen megváltozott. Egy éjszaka édesapja üvöltözéseire ébredt. Édesanyja, Laura megkérte, hogy bújjon az ágy alá, és maradjon is ott, bármi történik. Ezután Laura kiment, a sikoltozását lehetett hallani, majd egy lövést? és néma csend. Apja ezután bement James szobájába, és ráült az ágyra, majd végzett önmagával is. Mindezt a fiú szeme láttára. A kettős gyilkosság oka az volt, hogy Laura megcsalta a férjét, majd ezt titokban tartva, férjét arra kérte, hogy kössön üzletet szeretőjével. A férfi azonban lelépett a pénzzel. James csak a nevét tudja a csalónak: Sawyer.
Öt évvel később James felveszi Sawyer nevét, mert 6000 dollár adóságát csalás útján tudja törleszteni. Majd ő is kikezd egy férjes asszonnyal. Ő is arra használja fel a nőt, hogy a férjéből egy állítólagos olajüzlethez csaljon ki 160000 $-t. Közben csak a Kilonak való tartozását akarta így törleszteni. De amikor meglátta a David és Jessica fiát, otthagyva Kilo pénzét elment ? mert eszébe jutott gyermekkori traumája.
2004-ben Hibbs bukkant fel a múltjából. Azt mondta neki, hogy megtalálta Sawyert, Sydneyben. Igazi neve Frank Duckett. James elutazott az ausztrál fővárosba. Frank Duckett garnélarákokat árult. Miután először nem merte megtenni, amiért jött; egy bárba ment, ahol találkozott Christian Shepharddal. Christian arra bíztatta, hogy tegye meg, amiért idejött, akkor könnyebb lesz neki. Miután meglőtte Franket, kiderült, hogy ő nem is Sawyer, csak egy férfi, aki pénzzel tartozott Hibbsnek. Ezek után egy bárban nekiesett egy férfinek, aki pechére egy miniszter volt, és deportálták Ausztráliából az Oceanic 815-ös járattal.