Tỉnh được thành lập tháng 1 năm 1898 trên cơ sở hạt tham biện Thủ Dầu Một tách ra từ tỉnh Biên Hoà cũ[1]. Từ tháng 3 năm 1951 đến tháng 6 năm 1954 và từ tháng 3 năm 1958 đến tháng 12 năm 1960, chính quyền Việt Nam Dân chủ Cộng hòa sáp nhập tỉnh Thủ Dầu Một với tỉnh Biên Hoà mới thành tỉnh Thủ Biên. Tuy nhiên, chính quyền Quốc gia Việt Nam vẫn giữ theo phân chia hành chính cũ.
Tuy nhiên chính quyền Việt Nam Dân chủ Cộng hòa vẫn duy trì tên gọi tỉnh Thủ Dầu Một như cũ. Năm 1956, chính quyền cách mạng chia tỉnh Thủ Dầu Một thành 2 tỉnh Thủ Dầu Một và Bình Long. Địa giới tỉnh Thủ Dầu Một lúc này gần tương ứng với tỉnh Bình Dương của chính quyền Việt Nam Cộng hòa. Cho đến năm 1976, tỉnh Thủ Dầu Một bao gồm thêm một số huyện như Dĩ An, Tân Uyên, Phú Giáo vốn thuộc tỉnh Biên Hòa trước đây.
Từ năm 1976, tỉnh Thủ Dầu Một hợp nhất với tỉnh Bình Phước (Bình Long và Phước Long) và 3 xã An Bình, Bình An, Đông Hòa thuộc huyện Thủ Đức thành tỉnh Sông Bé, tỉnh lỵ đặt tại thị xã Thủ Dầu Một. Từ ngày 6 tháng 11 năm 1996, tỉnh Sông Bé được chia lại thành hai tỉnh: Bình Dương và Bình Phước. Trong đó, tỉnh Bình Dương có địa giới trùng với tỉnh Thủ Dầu Một trước đây.
Hiện nay, địa danh "Thủ Dầu Một" chỉ còn được dùng để chỉ thành phố Thủ Dầu Một, đơn vị hành chính cấp huyện trực thuộc tỉnh Bình Dương và là tỉnh lỵ của tỉnh Bình Dương.
Tổng Bình Chánh có 13 làng: An Thạnh, Bình Đáng, Bình Đức, Bình Giao, Bình Nhâm, Bình Sơn, Bình Thuận, Hòa Thạnh, Hưng Định, Phú Hội, Phú Long, Tân Thới, Vĩnh Bình
Tổng Bình Điền có 16 làng: An Nghiệp, Bình Điềm, Chánh An, Chánh Long, Chánh Thiện, Phú Cường, Phú Hữu, Phú Lợi, Phú Thọ, Phú Nhuận, Phú Văn, Tân Long, Tân Bình, Tân Phước, Vĩnh Phước, Vĩnh Trường
Tổng Bình Thiện có 10 làng: An Mỹ, Bình Chuẩn, Tân Hội, Hóa Nhựt, Khánh Vân, Phước Lộc, Tân An, Tuy An, Tân Khánh, Vĩnh Phú
Tổng Bình Thổ có 13 làng: An Định, An Hòa, An Lợi, An Phú, Cầu Dinh, Định Phước, Hòa Mỹ, Phú Trung, Tương An, Tương Bình, Tương Hiệp, Tương Hòa, Vĩnh Xương
Tổng Bình Hưng có 13 làng: An Phước, Chánh Lưu, Hòa Thuận, Long Bình, Long Chiểu, Long Hưng, Lai Khê, Lệ Nguyên, Lai Uyên, Mỹ Thạnh, Ngãi Khê, Phú Hưng, Thạnh Hòa
Tổng Bình Thạnh Thượng có 12 làng: An Sơn, An Thành Tây, An Thuận, An Thành, Định Thành, Kiến An, Kiến Điền, Phú Thứ, Phú Thuận, Thanh Điền, Thanh An, Thanh Trì
Tổng Minh Ngãi có 8 làng: An Lộc, Bình Minh, Bình Phú, Bình Quới, Bình Tây, Cà La Hơn, Phú Lổ, Phú Miêng
Tổng Cửu An có 2 làng: Võ Dực, Võ Tùng
Tổng Quản Lợi có 10 làng: Đông Phát, Đồng Tựu, Hớn Quản, Lâm Trang, Lịch Lộc, Lôi Sơn, Lộc Khê, Lương Mã, Văn Hiên, Xa Trạch
Tổng Thành Yên có 5 làng: Nha Bích, Nha Uôi, Vật Tuốt, Viết Tôn, Xa Bem
Tổng Lộc Ninh có 8 làng: Mỹ Lộc, Lộc Ninh, Lộc Hưng, Thái Bình, Gia Lộc, Mỹ Thạnh, Xa Can, Bào Núi
Tổng Phước Lễ có 9 làng: Bình Thành, Xa Prum, Xa Pech, Xa Dập, Xa Seck, Xa Diụp, Xa Cay, Xa Cuôt, Xa Bréat.
^Theo Bulletin officiel de l'Expédition de Cochinchine, Annuaire de la Cochinchine Francaise và Annuaire général de l’ Indochine thì: hạt Thủ Dầu Một được thành lập năm 1862 do De Grammont làm chủ hạt đầu tiên. Năm 1867, Thủ Dầu Một trở thành một trong 27 hạt thanh tra ở Nam Kỳ, với De la Croix làm chánh thanh tra. Năm 1891, Pháp thành lập hạt tham biện Thủ Dầu Một trên cơ sở tách hạt tham biện Biên Hòa, do Laffont (thay Bertin từ năm 1890) làm chánh tham biện đầu tiên.