Ngày xưa, từ vua quan đến người thường không phân biệt trai hay gái, điều mặc áo dài đúng theo cổ tục. Có một anh đánh cá ở ven biển rất nghèo túng mà vẫn phải mặc áo dài đàng hoàng như mọi người. Vì nghèo quá, túng trước hụt sau, cái áo dài rách thêm hoài, chẳng những không tiền để may áo khác mà còn không có vải vụn để vá làm cho cáo áo có đốm có khoang như cái mai rùa.
Một hôm anh đang mặc cái áo cà khổ ấy đi dọc theo mé biển kiếm nơi đánh cá, thình lình nghe tiếng quân lính la ó vang dậy. Nhìn xa xa thấy cờ xí rợp trời, quan quân rầm rộ, anh sợ quá không biết làm sao. Từ chỗ anh đứng lội lên bờ thì quá xa, không thể nào chạy kịp. Trong lúc lính quýnh, chân lún sâu xuống bùn, anh phải chống hai tay xuống để rút chân lên, nhưng không được. Lúc đó vua quan đã đến gần, thấy anh mặc cái áo ngắn bị bùn khô dính dày cứng, màu móc thích, búi tóc vãn lênnhòm nhọn, trông xa anh giống như một con rùa to tướng.
Thấy lạ nhà vua truyền lính dừng chân ghé lại. Vua sai quân lính vội xuống bắt con vật ấy lên cho vua xem. Anh nghe toán lính vừa chạy vừa bàn tán: người thì bảo là con rùa, kẻ thì bảo là con ba ba, cãi nhau um sùm. Đến khi lại gần họ hết sức ngạc nhiên và bắt anh để trình vua. Anh run sợ, mếu máo nói rõ hoàn cảnh của mình.
Nhà vua thương hại mỉm cười bảo:
- Khanh đừng sợ! khanh không có tội gì đâu! Thế mà khi nãy trẫm ngỡ là con ba ba chớ đâu có ngờ khanh lại mặc cái áo "ba ba"!
Đoạn nhà vua đem vàng bạc, gấm vóc ban tặng cho anh đánh cá.
Anh tạ ơn vua, về nhà lòng mừng khấp khởi. Anh trở nên khá giả nhờ số vàng bạc vua ban và anh vẫn giữ kỹ cái áo "ba ba" để có dịp là đem ra khoe với hàng xóm bạn bè.
Từ đó về sau, trong dân gian nhiều người nghèo khổ cũng bắt chước anh may áo ngắn để mặc cho đỡ tốn vải và cũng kêu là áo "ba ba". Kiểu áo "ba ba" lần lần được nhiều người dùng vì nó gọn gàng, xoay trở không bị vướng víu khi làm lụng. Dần dần trong giới nữ thấy kiểu áo "ba ba" gọn gàng và thanh lịch, kín đáo nên cũng may mặc. Các chàng trại thấy các cô mặc áo bèn gọi là: "bà ba".
Từ đó hễ đàn ông con trai mặc thì gọi là áo "ba ba", còn đàn bà, con gái mặc thì gọi là áo "bà ba". Lâu dần người ta quên đi mất sự tích "ba ba" mà chỉ gọi là áo bà ba.
Trải qua bao năm tháng, cái áo bà ba trở thành thông dụng phổ biến và lưu truyền đến ngày nay ở toàn vùng Nam bộ.