Tên gọi Bà Lụa của quần đảo này được người ta giải nghĩa rất khác nhau. Có nguồn cho rằng Bà Lụa là tên của một vị nữ tướng hậu cần đã lập xưởng dệt lụa trên đảo này để cung cấp cho nghĩa quân Nguyễn Trung Trực (Anh Động, 2010).[3] Nguồn khác giải thích rằng một người Pháp có tầm ảnh hưởng lên chính quyền thuộc địa đã đến khai thác vùng này, và bà vợ người Việt gốc Hoa của ông có tên là Bà Lụa. Giấy tờ, chủ quyền đất đai đều do bà đứng tên, từ đó quần đảo có tên là Bà Lụa.[4][5] Lại có nguồn cho rằng khoảng năm 1858, một ông quan lớn lấy được một bà vợ có nhan sắc và tính tình hiền hậu. Bà tìm nơi bình yên, lánh xa chốn quan trường và cuối cùng đã dừng chân tại đây. Hàng ngày bà nuôi tằm, dệt lụa và từ đó người ta đặt tên quần đảo theo nghề của bà.[6]
Trung tâm của quần đảo cách mũi Hòn Chông khoảng 6 km về phía tây.
Quần đảo Bà Lụa gồm 34 đảo lớn nhỏ (có nơi ghi 42[3]) trên một diện tích biển khoảng 70 km², được cấu tạo từ đá trầm tích Paleozoi hạ-trung. Quần đảo này là đoạn cuối của dãy Tà Lơn (Campuchia) bị sụt lún hướng theo sự vận động của thời kì tạo sơn của dãy Himalaya cách đây nhiều trăm triệu năm.[3] Ngoại trừ hòn Heo (102 m, có nguồn ghi 113 m[3]) thì các đảo nơi đây có độ cao không quá 100 m. Dân cư tập trung trên các đảo như hòn Heo, hòn Ngang và hòn Nhum.[3] Xung quanh quần đảo Bà Lụa là vùng biển nước nông; ở nhiều nơi, người ta có thể đi bộ từ đảo này sang đảo khác lúc nước ròng mà nước biển ngập không quá lưng người lớn.[5]
Hòn Heo là đảo lớn nhất quần đảo Bà Lụa. Đây là một đảo nhỏ có chu vi khoảng 7 km và diện tích vào khoảng 1,5 km².[7] Tên gọi hòn Heo xuất phát từ việc người Pháp ra đảo lập trại nuôi lợn (heo) thử nghiệm vào năm 1918 (Anh Động, 2010).[8] Trụ sở Uỷ ban nhân dân xã Sơn Hải đóng trên đảo.
Bản đồ hành chính Việt Nam[9] vẽ quần đảo Bà Lụa thuộc xã Sơn Hải, huyện Kiên Lương và thể hiện các đảo gần đó như hòn Rễ Lớn, hòn Rễ Nhỏ, hòn Lô Cốc, hòn Đá Lửa,... bằng màu sắc khác. Trong khi đó, nguồn khác[3] cho rằng các đảo như hòn Rễ Lớn, hòn Rễ Nhỏ thuộc xã Bình An[10] cũng thuộc quần đảo Bà Lụa. Có nguồn còn khẳng định quần đảo Bà Lụa thuộc địa phận của hai xã là Sơn Hải và Bình An.[11]
Ngày 17 tháng 8 năm 2000, Thủ tướng Chính phủ Việt Nam ký Nghị định số 33/2000/NĐ-CP chuyển xã Sơn Hải sang nằm dưới quyền quản lý của huyện Kiên Lương.[14]
^ abĐặng Hoàng Thám (30 tháng 6 năm 2011). “Quần đảo Bà Lụa trong vịnh Hà Tiên”. Thời báo Kinh tế Sài Gòn. Bản gốc lưu trữ ngày 25 tháng 9 năm 2013. Truy cập ngày 14 tháng 5 năm 2013.
^KG. “Đảo Bà Lụa”. Trang web Bộ Văn hoá, Thể thao và Du lịch (Việt Nam). Bản gốc lưu trữ ngày 26 tháng 9 năm 2013. Truy cập ngày 14 tháng 5 năm 2013.