Sau cuộc kháng chiến chống quân Nguyên Mông lần thứ nhất (1258), vua Trần Thái Tông (Trần Cảnh) - lúc đó đã tuổi tròn 40 nhường ngôi cho con là Thái tử Hoảng (Trần Thánh Tông) lên làm Thái Thượng Hoàng, về vùng núi Vũ Lâm tu hành lập hành cung Vũ Lâm, lập Am Thái Vi ở giữa động Vũ Lâm (một thung lũng rộng chừng 20 mẫu ở phía Tây thôn Văn Lâm, xã Ninh Hải, huyện Hoa Lư ngày nay). Tại đây, Trần Thái Tông đã biến khu rừng rậm và vùng đất hoang hóa thành nơi dân cư đông đúc. Thái Thượng Hoàng chiêu dân ra lập làng Văn Lâm, khuyên nhân dân khẩn hoang được 155 mẫu ruộng. Đó cũng là hậu cứ của cuộc kháng chiến chống quân Nguyên - Mông lần thứ 2 (1285) của dân tộc.
Công lao của Trần Thái Tông rất lớn. Vì vậy sau khi ông mất, thọ 60 tuổi (1218- 1277) nhân dân đã xây dựng đền thờ Trần Thái Tông, Hiển Từ Hoàng Thái Hậu (tức Hoàng hậu Thuận Thiên) và Trần Thánh Tông tên là "Thái Vi Từ". Gọi là Thái Vi, vì là nơi Hoàng đế nhà Trần xuất gia.
Thái Vi Từ được xây dựng theo kiểu "nội công ngoại quốc" (nghĩa là bên trong chữ công, bên ngoài chữ quốc". Trên hai cột đá hai bên gian giữa của bái đường có trạm khắc câu đối:
"Nhất thống sơn hà, Thiên trường phủ vương hầu đệ trạch
Thiên thu hương hỏa, Thái Vi cung văn vũ y quan".
(Thu phục giang sơn, phủ Thiên Trường dựng vương hầu cung thất
Ngàn năm hương hỏa cung Thái Vi quan văn võ đều về chầu).
Đền Thái Vi nguy nga trầm mặc giữa cảnh sơn thủy hữu tình thuộc vùng đất Hoa Lư lịch sử. Trước đền có giếng ngọc xây bằng đá xanh. Sau đền là dãy núi Cấm Sơn: "Tiền ngọc tỉnh, hậu Cấm Sơn". Đền nằm ở khu đất thuộc thôn Văn Lâm. Tương truyền đây chính là nơi trước đây Trần Thái Tông đã dựng am Thái Vi.
Điều độc đáo ở đền Thái Vi là tất cả các cột đều làm bằng đá xanh nguyên khối, được chạm khắc rất công phu, tỉ mỉ, đường nét uyển chuyển, tao nhã như chạm gỗ và có phần còn sắc sảo tinh túy hơn. Những người thợ đá đã làm cho các cột đá có hồn, mang tính nghệ thuật cao, thể hiện đặc điểm kiến trúc ở Ninh Bình.
Từ xa xưa, hàng năm cứ đến ngày 14 tháng 3 (âm lịch) lễ hội đền Thái Vi tổ chức được gọi là quốc lễ, liệt vào hàng "quốc gia tế lễ" ngang với Đền Hùng ở Vĩnh Phú, đền Đinh ở xã Trường Yên (Hoa Lư)... Ngày nay, lễ hội đền Thái Vi trở thành hội làng, được mở từ ngày 14-3 đến 17-3 âm lịch. Đây là một dịp để nhân dân Ninh Bình và nhân dân cả nước tưởng nhớ công lao của các vua Trần, những người có công lớn với dân với nước, trên tinh thần "uống nước nhớ nguồn".
Khác với lễ hội đền Đinh tổ chức rước nước, lễ hội đền Thái Vi tổ chức rước kiệu. Nghi lễ của một đoàn rước kiệu đi đầu là một chiếc chống cái do hai người khiêng và một người mặc áo thụng đi hia, đội mũ cánh én (mặc thẩm phục) làm thủ hiệu trống, rồi đến 5 người cầm 5 lá cờ ngũ hành, tiếp đó đến kiệu bát cống (8 người khiêng) trên đặt bài vị các vua Trần hoặc Hoàng hậu, hay công chúa đời Trần, hương hoa lễ vật. Kiệu có lọng cắm, màu đỏ đung đưa trông rất đẹp mắt. Tiếp đó là kiệu 4 người khiêng bày lễ vật là hương hoa, oản quả. Sau đó là phường bát âm, rồi tới ban tế do ông chủ tế dẫn đầu đi hàng hai. Tất cả đều mặc thẩm phục.
Rước kiệu ở đền Thái Vi không chỉ có một đoàn, mà là trên dưới 30 đoàn rước kiệu của các xã trong huyện Hoa Lư và trong tỉnh Ninh Bình. Sáng ngày 14 -3 kiệu từ các nẻo đường trong huyện, trong tỉnh rước về đền Thái Vi trong không khí tưng bừng, náo nhiệt, vui tươi của ngày hội. Các cỗ kiệu đèu được sơn son thếp vàng lộng lẫy do các trai thanh nữ tú ăn mặc theo phong tục lễ hội xưa, duyên dáng rược kiệu trang nghiêm, thành kính. Kiệu tiến, kiệu lùi, bước đi nhịp nhàng, khoan thai, tạo nên không khí náo nhiệt, sinh động.
Sau phần rước kiệu là phần tế. Tế là nghi lễ quan trọng, tổ chức ở trước đền. Ban tế gồm từ 15 đến 20 người, gồm một ông chủ tế (thường là người cao tuổi có uy tín nhất trong làng) hai ông bồi tế (giúp cho ông chủ tế trong khi hành lễ), một ông đọc văn tế, hai ông xướng tế và mỗi bên tả hữu có từ 5 đến 10 ông để thực hiện việc tiến hương, tiến tửu.
Ông đọc văn tế đọc khúc văn tế ca ngời công đức của vua Trần Thái Tông được trình bày qua nghệ thuật diễn xướng. Sau mỗi khúc tế, lại có hai người phường trò, người nam chơi đàn, người nữ dẫn giải bằng lối ca trù. Phần hội đền Thái Vi thực sự là phần vui chơi giải trí của nhân dân và những người đến dự hội. Đó là các trò múa lân, múa rồng, đánh cờ người, đấu vật, bơi thuyền ngoạn mục.
Đến dự lễ hội đền Thái Vi là dịp chúng ta đi thăm các danh thắng cảnh nổi tiếng của Ninh Bình. Đó là đền Thái Vi, Tam Cốc, Bích Động, Động Tiên, Xuyên Thuỷ động, đều đẹp mê hồn, huyền diệu. Cảnh núi non mây bể bao la được ngắm nhìn từ đây, chúng ta sẽ thả bay trong gió những lo toan trần tục để hướng về cội nguồn, cõi lòng lắng xuống, thảnh thơi thánh thiện.