Trong Đại Nam nhất thống chí (quyển XXIII) có chép rằng: "Đền thần ỷ La thuộc huyện Hàm Yên tương truyền, đời trước có hai công chúa Ngọc Lân và Phương Dung theo xa giá để xem xét địa phương, đỗ thuyền ở bờ sông, đến đêm nổi cơn mưa gió, hai công chúa vụt bay lên trời. Nhân dân trong vùng cho là linh dị và lập đền thờ. Đền thờ Phương Dung công chúa (tức Quỳnh Hoa công chúa) ở phía hữu sông Lô thuộc địa phận thôn Hiệp Thuận, xã ỷ La. Cùng đền Ngọc Lân công chúa (tức Mai Hoa công chúa) ở xã Tình Húc huyện Hàm Yên".
Phong thuỷ của Đền Hạ không phải ở đâu cũng có được, kế sát trước mặt là dòng sông Lô lịch sử, xa xa phía sau là núi Là làm thế tựa. Ví trí này đã được miêu tả trong câu đối ở đền:
"Lô Giang tại kỳ tiền
La Sơn tại kỳ hậu
Nguy nga thiên cổ miếu
Quốc tộ tại dân tâm"
Nghĩa là: Sông Lô ở trước mắt/Núi Là ở sau lưng/ Đền ở ví trí đẹp tồn tại hàng nghìn năm/ Vận nước ở lòng dân.
Trước sân chầu là hệ thống cổng phụ có bốn trụ. Trên mỗi đỉnh trụ gắn một con phượng đắp nổi. Cạnh sân chầu là hai miếu còn gọi là Lầu cô. Tiếp đến là lầu tế, thờ Đệ nhị thượng ngàn. Rồi đến Tam phủ thờ Đệ nhất thượng ngàn. Gian chính bố trí hình chữ Tam gồm 3 cung..
Nghệ thuật kiến trúc nổi bật của Đền Hạ ở phần chạm khắc gỗ. Tất cả cột, kèo, thượng lương, cửa cõng… đều được chạm trổ tinh xảo, với đề tài là tứ linh và tứ quý. Trên thân cột chạm hình long dáng thuỷ cung. Đặc biệt những hình cây, hoa đục rỗng trên cửa võng mềm mại như tranh vẽ. Đền Hạ đã được Nhà nước xếp hạng di tích kiến trúc nghệ thuật.
Cũng tại đền này, thời kì tiền khởi nghĩa, các chiến sỹ cách mạng đã hoạt động bí mật và tập kết lực lượng để tiến vào đánh Nhật tại thị xã Tuyên Quang, rồi tiếp nhận vũ khí chuyển về Châu tự do, góp phần thực hiện thành công trong cuộc kháng Nhật của dân tộc. Năm 1946 hưởng ứng lời kêu gọi tuần lễ vàng của Chủ tịch Hồ Chí Minh, Đền Hạ là nơi nhân dân tỉnh Tuyên Quang đến ủng hộ vàng cho cách mạng. Năm 1946 Văn phòng Đại hội Hùng Vương cũng đóng tại Đền Hạ làm nhiệm vụ tiếp quản vũ khí lương thực và thuốc men.
Lễ hội Đền Hạ vào tháng 2 âm lịch hàng năm, với 2 phần chính: Phần lễ bao gồm Lễ rước kiệu mẫu từ đền Mẫu ỷ La về đền Hạ; Lễ rước kiệu Mẫu từ đền Thượng về đền Hạ và tổ chức lễ tế tại Đền Hạ. Phần hội, tổ chức các trò chơi dân gian, các hoạt động văn hoá văn nghệ sôi nổi, phong phú thu hút đông đảo du khách.
Cùng với nhiều hoạt động bảo tồn và phát huy các giá trị văn hoá cổ truyền của dân tộc, kiến trúc nghệ thuật, sự thâm nghiêm và dấn ấn các hiện vật có trong đền Hạ chính là mạch nguồn giúp cho du khách tới đây nối liền quá khứ với hiện tại, góp phần giáo dục đối với mỗi người dân lòng yêu quê hương, đất nước, yêu cội nguồn dân tộc.
Thanh Ba
