Lê Phụng Hiểu sinh năm 982 ở làng Băng Sơn, nay thuộc xã Hoằng Sơn, huyện Hoằng Hóa, tỉnh Thanh Hóa. Theo sử sách ghi lại, ông thọ tới 77 tuổi. Ông không được đi học, nhưng thuở nhỏ đã nổi tiếng là người có sức khỏe vô địch.
Có một giai thoại kể về câu chuyện tranh giành đất đai giữa là Cổ Bi và làng Đàm Xá. Lê Phụng Hiểu đứng ra giúp làng Cổ Bi. Trước cuộc đối đầu, dân làng Cổ Bi bày tiệc lớn thiết đãi ông. Ông ăn một bụng no nê rồi ngủ một giấc chờ dân làng Đám Xá đến.
Khi dân làng Đàm Xá đông đảo kéo đến tranh đất. Lê Phụng Hiểu thức dậy, nhổ cây lớn bên đường rồi xông vào đám trai tráng làng Đàm Xá mà đánh. Thấy sự dũng mãnh của ông thì dân làng Đàm Xá khiếp sợ và bỏ về. Từ đó, làng Đàm Xá không dám ỷ thế đông mà bắt nạt dân làng Cổ Bi nữa.
Vào dịp vua Lý Thái Tổ tuyển binh cho triều đình. Ông được chọn và nhờ có võ nghệ và sức mạnh, lại siêng năng, tháo vát, ông dần được thăng lên chức Vũ vệ tướng quân.
Lê Phụng Hiểu còn có công phò trợ Thái tử Lý Phật Mã lên làm vua. Sau khi vua Lý Thái Tổ mất, ba người con trai là Võ Đức vương, Dực Thánh vương và Đông Chinh vương đã đem quân vây hãm kinh đô để tranh ngôi với Thái tử Lý Phật Mã là người được chọn kế vị ngai vàng. Lê Phụng Hiểu vung gươm giết chết Vũ Đức Vương. Đông Chính Vương và Dực Thánh Vương thua trận bỏ chạy.
Dẹp xong loạn Tam vương, ông được phong chức Đô Thống thượng tướng quân.
Năm 1044, Chiêm Thành đem quân quấy rối nước ta ở biên giới phía Nam. Ông được cử làm tướng tiên phong đi dẹp loạn. Ông đánh tan quân Chiêm và thu về rất nhiều voi trận.
Sau khi đánh Chiêm Thành, vua muốn thưởng cho Lê Phụng Hiểu. Ông không muốc chức tước mà chỉ xin nhà vua ban cho đất đai. Ông được cho đứng trên núi Băng Sơn và ném đao. Đao đi xa đến đâu thì đất của ông đến đó. Sử kể lại rằng, đao đi xa đến hơn mười dặm. Từ đó, người vùng Thanh Hóa gọi ruộng thưởng công là ruộng thác đao.
Ngày nay, ở Hà Nội, Thanh Hóa và nhiều đô thị khác có những con đường mang tên ông.