Thành Long Biên là thủ phủ của quận Giao Châu từ thời Sĩ Nhiếp nhà Hán sang cai trị (186). Các viên thái thú thời Ngô, Tấn, Tống, Tề, Lương sang cùng đóng thủ phủ tại đây. Tiền Lý Nam Đế, Triệu Việt Vương sau khi đánh đuổi bọn quan quân đô hộ, rồi xưng vương, cũng đóng đô tại đấy.
Đến đời Tuỳ, Đường, quân Lâm Ấp, Nam Chiếu ở phía Nam thường hay ra Giao Châu cướp phá. Trương Bá Nghi (đời Đường) mới đắp lại La Thành ở vị trí mới, cách sông Tô Lịch khoảng 200 thước (vào năm 767) rồi dời nhiệm sở xuống. Sau đó, Cao Chính Bình sang thay. Phùng Hưng khởi nghĩa đánh Cao Chính Bình rồi chiếm phủ đô hộ ở trong La Thành (năm 791).
Triệu Xương sang dụ hàng Phùng An, đắp thêm La Thành kiên cố hơn trước. Trương Chu thay Triệu Xương lại củng cố thêm một lần nữa.
Đến Lý Nguyên Gia, "thấy trước cửa thành có dòng nước chảy ngược, sợ trong châu có nhiều người sinh lòng làm phản", mới dời nhiệm sở xuống sát sông Tô Lịch và đắp thành nhỏ ở xung quanh (824).
Khi Cao Biền sang, y đã nhiều lần đánh thắng quân Nam Chiếu và ổn định được tình hình. Vua Đường phong Cao Biền làm Tiết độ sứ và ở lại cai trị Giao Châu trong 8 năm (866 - 874) rồi sau đó triệu hồi về nước, cho Cao Tâm là cháu y lên thay...
Biền cũng đóng phủ đô hộ tại nhiệm sở của Lý Nguyên Gia khi trước...
*
* *
Cao Biền là dòng dõi con nhà võ lại thêm xuất thân nho học, nên y tinh thống lý số, hiểu biết thiên văn địa lý và có nhiều mưu mẹo thâm hiểm. Phàm khi đi đến đâu xem hình thế đất đai, thấy nơi nào "linh thiêng" y liền dùng thuật pháp yểm bùa huyệt để triệt "nhân kiệt". Thuật pháp chủ yếu của Biền là lừa bắt một người con gái chưa chồng đem mổ bụng moi ruột rồi nhồi cỏ bấc vào. Đoạn y mặc lại quần áo cho tử thi theo trang phục quan tước, rồi đặt ngồi lên ngai. Y đem các thứ đến huyệt định yểm rồi giết thịt trâu bò tế cúng và đọc thần chú. Hễ khi nào tử thi cử động, tức là thần linh ở đất ấy đã nhập vào, là y lập tức dùng kiếm chém đầu. Như thế có nghĩa là y đã trừ yểm xong... Tuy vậy, với mọi người, bao giờ Biền cũng nói là dùng pháp thuật để tiễu trừ tà ma...
Việc đầu tiên của Cao Biền khi ở lại Giao Châu làm Tiết độ sứ là cho đắp lại La Thành với quy mô to lớn và chắc chắn hơn trước. Vòng quanh thành rộng đến 1.982 trượng lẻ 5 thước. Thân thành cao 2 trượng 6 thước. Chân thành rộng 2 trượng 5 thước. Bốn mặt thành đắp các tường nhỏ bên trên cao 5 thước 5 tấc... Lại đắp một con đê vòng quanh dài 2.125 trượng 8 thước, cao 1 trượng 5 thước, chân rộng 2 trượng, cùng làm nhà cửa hơn 40 vạn gian, ở trong chân đê.
Khi thành và đê đắp xong, một buổi trưa, Biền thủng thẳng đi ra cửa phía đông đình tìm "huyệt" để yểm. Bỗng nhiên mây đen ở đâu kéo đến, đất trời tối sầm, rồi mưa to gió lớn và sấm chớp đùng đùng. Biền tối tăm mặt mũi, liền chui tạm vào một gian lều của lính lúc ấy đang chưa có người ở. Vừa kịp định thần lại, nhìn ra, Biền thấy ngay trước mặt một áng mây ngũ sắc từ dưới đất dâng lên, có ánh sáng chói chang. Trong áng mây hiện ra một người mặt mũi phương phi, cưỡi rồng vàng, đàu đội mũ hoa đỏ, mình mặc phẩm phục màu tía, chân đi hài thêu, tiến đến trước mặt Biền trong tiếng nhạc vang lừng và trong mùi hương trầm thơm ngào ngạt. Biền kinh hoàng, mắt hoa, đầu óc choáng váng, ngã lăn quay ra đất. Mấy tên lính hầu xúm lại, rồi đội mưa, lập tức đưa Biền về phủ.
Đêm ấy, Biền nằm ngủ trong nỗi khiếp đảm, sai lính chốt chặt các cửa và dùng đến mấy chiếc chăn để đắp. Nửa đêm, trong giấc mơ màng, Biền lại thấy hiện ra hình ảnh của ông có gương mặt phương phi đã gặp buổi trưa. Ông tiến đến bên gường, miệng nở nụ cười rất tươi mà bảo Biền rằng: "Ta là Long Đỗ chính khí thần, từ thuở khai thiên lập địa đã cai quản đất này, thấy ông mở dựng đô thành xong, thì đến chơi đó thôi. Lúc trưa đã toan nói chuyện nhưng thấy ông không được khoẻ, nên bây giờ lại đến. Ông chớ có ngại ngần gì. Phàm đã làm quan tước thì ai cũng phải hết lòng lo lắng cho dân, như thế mới xứng đáng với danh vị. Biết ông là người có nhiều thuật pháp nhưng ta vẫn đến, vì chẳng có thuật pháp nào có thể hại được đến ta. Vậy ta nói để ông biết trước mà lo sửa mình, chớ dùng thuật pháp để thay cho đức độ đó".
Biền tỉnh dậy, sờ lên trán thấy mồ hôi ướt đầm, rồi ngồi chong đèn thức đến sáng.
Đến buổi họp quần thần dưới quyền, Biền kể lại với mọi người rằng đêm qua nằm mơ thấy dị nhân về đòi cúng lễ (!), rồi y nói thêm rằng: "Chẳng lẽ ta không khuất phục nổi người ở phương Nam được ư?".
Một viên quan dưới quyền đứng dậy:
- Bẩm Sứ quân. Hạ quan nghĩ Ngài nên lập đàn tràng rồi dùng một nghìn cân sắt đúc tượng hình dạng thần nhân để làm bùa yểm. Nếu cúng lễ chẳng hóa ra ta phải đi cầu xin người ở phương Nam à?
Biền cho lời bàn ấy là hợp với ý mình, bèn bắt tay vào để thực hiện.
Đàn lập xong, tượng yểm xong, Biền lại ngồi khấn vái và niệm thần chú, bắt quyết suốt ba ngày ba đêm liền. Đến tối ngày thứ ba bỗng nhiên trời đất tối sầm, mưa gió sấm chớp đùng đùng làm cho đèn nến trên đàn tràng tắt phụt, rồi các thứ đồ cúng lễ và cờ quạt cũng rơi xuống đất lả tả. Từ chỗ yểm tượng, một làn chớp loé sáng cùng với tiếng nổ long trời làm cho Biền kinh hãi ngã lăn quay ra đất. Nhưng trước khi ngất xỉu, Biền còn kịp nhìn thấy pho tượng nát vụn, hàng ngàn mảnh sắt từ đấy bay ra và cũng may, nếu không ngã xuống thì chắc chắn Biền đã bị mảnh sắt vụn băm cho nát nhừ rồi.
Sau trận đó, Biền ốm đến cả tháng trời, nhưng là quan đứng đầu xứ, nên lúc chưa khỏi hẳn, vẫn phải gượng dậy đi lại hội họp và giải quyết các công việc. Tuy chỉ có đoạn đường ngắn từ nơi ở đến nơi đặt nhiệm sở mà Biền cũng phải dùng gậy chống để đi cho khỏi ngã. Trông y run rẩy chẳng khác nào thân cây non trước gió bão. Vì vậy, dân ta mới có câu chế nhạo: "Lẩy bẩy như Cao Biền dậy non".
Trong những ngày đau ốm, nét mặt Biền bơ phờ thiểu não, còn tâm trạng thì ngao ngán, chán nản. Y than thở với những người thân cận: "Ta chịu mệnh vua nên mới gắng gượng ở lại. Còn bây giờ chắc đã đến lúc ta phải về phương Bắc rồi!"
Mấy tháng sau quả nhiên có lệnh triệu hồi Cao Biền về nước thật! Nghe nói y mang theo được hàng chục xe chở vàng bạc, châu báu và nhiều thứ quí giá khác. Tuy vậy, do ốm yếu mà y đi lại lẩy bẩy, còn lúc ngồi trên xe thì vẫn cứ run như cầy sẫy. Chắc là y vừa lo sợ có cướp xảy ra giữa đường, lại vừa lo sợ cả Thần chính khí Long Đỗ hiện ra đòi tính mạng của y. Nhưng cũng may mà Thần đã làm ngơ để cho y về đến quê hương bản quán trót lọt rồi mới chết!
*
* *
Đầu mùa thu năm 1010, Lý Thái Tổ rời đô từ Hoa Lư ra thành Đại La. Trong khi tạm đỗ thuyền dưới thành, có rồng vàng hiện lên ở giữa sông Cái ngay trước thuyền ngự, nhân đó nhà vua đổi tên thành, gọi là thành Thăng Long.
Sau buổi làm lễ động thổ để xây dựng cung điện, phủ đệ, ban đêm nhà vua nằm mộng thấy thần nhân cưỡi rồng hiện về xưng là Long Đỗ chính khí thần và nói lời chúc mừng. Nhà vua đáp lễ xong, rồi nhân đó hỏi thần xem đất này liệu có thể là kinh sư của mãi muôn đời được không? Thần nhân vui vẻ đáp: "Được!".
Vua tỉnh dậy, sáng hôm sau sai giết súc vật làm cỗ rất hậu để tế lễ, lại sắc phong cho thần là "Thăng Long Thành hoàng đại vương" và tu sửa đền thờ thần ở phường Hà Khẩu, tức phía đông của Kinh thành Thăng Long. (Đó là đền Bạch Mã ở Hàng Buồm hiện nay).
Đến đời Lý Thái Tông, nhà vua cho mở phố chợ ở phía đông kinh thành, vì vậy hàng quán mọc chen chúc nhau ở sát ngay cạnh đền. Thời ấy hàng quán chủ yếu mới là tranh tre nứa lá, nên hay bị hoả hoạn. Ấy vậy mà một lần có hoả hoạn lớn, nhà cửa trong phố cửa Đông gần như cháy trụi, nhưng chỉ riêng ngôi đền thì vẫn còn nguyên vẹn, không bị thần lửa phạm tới.
Vua Lý Thái Tông lấy làm lạ, rồi sau nghe kể rõ về hành trạng từ trước đến nay của thần, bèn xuống chiếu sắc phong cho thần là "Quảng Lợi Vương". Lại cử quan sở tại trông nom tu bổ ngôi đền và đặt lệ tế lễ hàng năm vào đầu mùa xuân.
Đến đời Trần, phố xá nhà cửa ở phường Hà Khẩu lại càng đông vui tấp nập, buôn bán sầm uất. Lại ba lần nữa, xảy ra hoả hoạn ở phố chợ cửa Đông này. Thế nhưng, cả ba lần ngôi đền vẫn nguyên vẹn, còn nhà cửa lều quán xung quanh thì cháy trụi.
Sự kiện này làm cho mọi người đều kinh hãi, từ thường dân cho đến cả vua quan. Nhân sắp sửa có giặc Nguyên tràn sang xâm lấn, Thái sư thượng tướng Trần Quang Khải đã cảm khái làm bài thơ đề ở đền như sau:
Tích văn nhân đạo đại vương linh
Kim nhật phương tri quỉ mị kinh
Hoả bắc tam khu thiêu bất tận
Phong trần nhất trận phiến nan khuynh
Chỉ huy vọng lượng tan thiên chúng
Đàn áp yêu ma bách vạn linh
Nguyện trượng dư uy thanh Bắc khấu
Đốn linh vũ trụ lạc thăng bình.
Nghĩa:
(Trước vẫn nghe người ta nói: Đại Vương thiêng
Nay mới biết: bọn ma quỉ đều khiếp sợ Đại Vương
Lửa bốc ba lần đều không cháy được đền
Gió bão một trận cũng không làm nghiêng được
Chỉ huy ba nghìn quỉ binh
Đàn áp được trăm vạn yêu ma
Muốm cậy dư uy của Đại Vương dẹp giặc Bắc
Để cho vũ trụ được yên bình)
Bài thơ này hiện vẫn còn. Nó được người đời sau khắc lên biển sơn son thiếp vàng treo ở trong đền Bạch Mã.
Nếu đến đền Bạch Mã ngày nay, ta thấy ngoài "Quảng Lợi Đại Vương" còn có phối hợp thờ Mã Viện, và ở phía cổng, lại thờ thêm một cung phi thời Tống nữa. Đó là vì từ mấy trăm năm trước, đây là khu vực người Hoa buôn bán rồi ở lại sinh cư lập nghiệp. Họ bỏ tiền bạc ra xây dựng và tu bổ lại ngôi đền khang trang như ngày nay, nên có sự phối thờ như vậy cũng là điều dễ hiểu.