Tương truyền Đốc binh Kiều là người miền Trung di cư vào Nam lập nghiệp ở huyện Kiến Đăng, tỉnh Định Tường, về sau đổi thành huyện Cai Lậy thuộc tỉnh Mỹ Tho (ngày nay là tỉnh Tiền Giang).
Sau khi thành Gia Định thất thủ (1859), ông đến Gia Định đầu quân chống thực dân Pháp.
Nhờ giỏi võ nghệ, ông được cử chỉ huy một đội dân dũng. Năm 1861 Đại đồn Chí Hòa bị đối phương san bằng, ông không theo quân triều đình rút về Biên Hòa mà dẫn quân về lập căn cứ ở Sầm Giang, Long Hưng (thuộc huyện Kiến Đăng) để tiếp tục chiến đấu.
Khi hay tin, Trương Định lập căn cứ Tân Hoà (Gò Công), Võ Duy Dương (còn gọi là Thiên Hộ Dương) lập căn cứ ở Bình Cách, Mỹ Quý (thuộc Ba Giồng, huyện Kiến Đăng), ông đem quân về hợp tác với chủ tướng Dương, được phong chức Đốc binh và rồi trở thành Phó tướng.
Sau hai cuộc tấn công lớn của đối phương (tháng 11 năm 1862 và ngày 5 tháng 11 năm 1863), đến ngày 20 tháng 4 năm 1863, quân Pháp lại tấn công quân lần nữa, khi ấy quân khởi nghĩa mới thật sự bị đánh bật ra khỏi Bình Cách, rút về Xoài Tư, một trong ba cửa ngõ vào Đồng Tháp Mười.
Để củng cố lại lực lượng, Thủ Khoa Huân đi các tỉnh miền Tây vận động tiền bạc để mua thêm vũ khí, Võ Duy Dương đi chiêu mộ thêm lính và hô hào đồng bào chống quân xâm lược, còn ông thì tìm vào Đồng Tháp Mười, lập căn cứ chuẩn bị cho cuộc chiến đấu lâu dài.
Ở vùng đầm lầy này, ông đã huy động quân dân xây dựng ba đồn chính bằng đất có hào và tre bao bọc nằm án ngữ trên ba con đường dẫn vào Đồng Tháp Mười, đó là Đồn Tiền (trên đường đi Cái Nứa), Đồn Tả (trên đường đi Mộc Hóa, hướng Gò Bắc Chiêng) và Đồn Hữu (trên đường đi Cần Lố), và đặt đại bản doanh tại Đồn Trung (Gò Tháp).[1]
Tháng 7 năm Giáp Tý (1864), Thủ Khoa Huân bị Tổng đốc An Giang là Phan Khắc Thận bắt giao cho Pháp. Đến tháng sau (20 tháng 8 năm 1864), Trương Định bị Huỳnh Công Tấn phản bội, nên hy sinh ở Gò Công.
Trước những mất mát to lớn này, Võ Duy Dương quyết định rút vào Đồng Tháp Mười, và nơi đây thực sự trở thành trung tâm kháng chiến mới trong những năm 1864-1866.
Theo sự phân công của chủ tướng, Đốc Binh Kiều chỉ huy Đồn Tả, chịu trách nhiệm phòng giữ mặt Xáng Xéo, Rạch Ruộng; không cho đối phương từ Cai Lậy, Cái Bè tiến vào.
Ở đây, có vài lần ông đã chủ động kéo quân ra đánh Cai Lậy, và nhiều nơi khác, làm đối phương bị thiệt hại. Tuy nhiên, cách thức của ông thường dùng vẫn là lối đánh du kích. Nhờ địa thế nơi ông trấn giữ có nhiều đầm lầy, tràm đưng cùng vô số muỗi, đỉa...nên ông đã cùng nghĩa quân nghĩ ra nhiều cách đánh du kích, khá hiệu quả, như thả ong độc, rắn độc; lợi dụng cỏ khô trên đồng, dùng kế hỏa công; hay gài chông, đặt bẫy v.v...
Trong cuộc tấn công Gò Tháp vào tháng 4 năm 1866, thực dân Pháp đã sai các sĩ quan là: Roubé, Paris de la BollardèreGally, Passebose, Vigny và các cộng sự là Trần Bá Lộc, Huỳnh Công Tấn, Phạm Công Khanh...dẫn một đội quân đông đảo đồng loạt tấn công cả ba đồn, hòng mở đường tiến vào đại bản doanh. Võ Duy Dương, Đốc Binh Kiều cùng nghĩa quân chống trả quyết liệt, đẩy lui được nhiều đợt tiến công của đối phương[2].
Chẳng may, lúc lên đài quan sát, Đốc Binh Kiều bị đạn của đối phương bắn trúng, được đưa về gò Giồng Dung điều trị. Nhưng do bị thương nặng, lại buồn rầu vì đại đồn thất thủ, ông mất ngay năm đó (1866). Nhưng cũng có người cho rằng, trong lúc đánh sáp lá cà, ông đã hy sinh tại trận chiến trên.
Một hôm có một đoàn thương lái lỡ đường, ghé vào một khá giả ở Hòa An, (phủ Tân Thành, tỉnh An Giang). Ông chủ nhà đem cơm và rượu ra tiếp đãi. Ăn xong, có một thanh niên trong đoàn, đứng lên nói lời cảm ơn và xin được trả tiền bữa ăn. Ông chủ nhà không nhận, và sau khi thăm hỏi, biết đó là những nghĩa quân của Võ Duy Dương, ông liền bày tỏ ý muốn gả người con gái duy nhất của mình cho chàng trai trẻ trên...Rồi mặc cho chàng trai nói mình đã có vợ, theo việc quân nên chẳng biết sống nay chết mai, con ông chủ nhà vẫn xem mình là gái đã có hứa hôn.
Ít lâu sau, chàng trai trẻ ấy tử trận ở Gò Tháp. Khi hay tin, cô gái kia lặng lẽ chít khăn tang, lập bàn thờ và xem người đã mất như chồng. Mãn tang, dù tuổi hãy còn trẻ, nàng vẫn ở vậy cho đến hết đời.
Chàng trai trẻ, chính là Đốc Binh Kiều và người con gái đó, không rõ họ chỉ biết tên là Bướm. Sau này, vì thương cảm nghĩa tiết, người ta đã lấy tên cô đặt cho một con rạch ở Hòa An, đó là rạch Bà Bướm.[3]
Khi Đốc Binh Kiều mất, nghĩa quân mang thi hài ông về chôn cất tại nền đồn Trung ở Gò Tháp, đồng thời cũng làm vài ngôi mộ giả để nghi trang. Hiện nay, ở Gò Tháp có đền thờ chung, thờ ông và chủ tướng Võ Duy Dương. Và hàng năm, từ chiều 14 đến rạng sáng 16 tháng 11 (âm lịch), đều có tổ chức lễ hội để tưởng niệm.
Trong dân gian còn lưu truyền bài thơ ca ngợi ông như sau:
Và ở thị xã Cai Lậy (Tiền Giang), huyện Tháp Mười (Đồng Tháp) có một ngôi trường Trung học phổ thông mang tên ông. Tại thành phố Hồ Chí Minh ở Trung tâm Quận 1 có đoạn đường Lê Công Kiều, được biết đến là phố đồ cổ Lê Công Kiều nổi tiếng trong giới sưu tầm đồ cổ.