司馬遷20歲時，司馬談指示他漫游各地，遷遍訪河山去搜集遺聞古事，網羅放失舊聞。司馬遷回到京城后，因為父親司馬談是太史令的緣故，才能任職郎中，后出使西南。司馬遷參加完封禪大典時，見到生命垂危的父親，并承諾完成父業編纂歷史。后來，司馬遷在長安結識了孔安國、董仲舒等人，并有機會學習到故訓，以及考信歷史的方法。公元前104年，司馬遷等人向漢武帝說明重新定制歷法，并被漢武帝命令定制《漢歷》。公元前99年，司馬遷因為替李陵敗降的事情向漢武帝辯解，而遭受宮刑。此后，司馬遷在堅忍與屈辱中發奮，并完成《史記》。

司馬遷以他的史識創作了中國第一部紀傳體通史《史記》。因此，被后世尊稱為史遷、太史公、歷史之父。