Lê Đại Hành lên ngôi ban chiếu cầu hiền tài trong thiên hạ, Lưu Ngữ ra ứng thí, khi vào gặp vua Lưu Ngữ đối đáp đúng ý vua, được vua bổ dụng chức Thị tụng . Vua cử ông ra trấn giữ miền cửa Luộc (Châu Đằng) lại ban cho ông ruộng lộc ở đây. Ông về vùng đất Lưu Xá ngày nay thấy hình thế sông ngòi, gò đống vừa đẹp vừa tiện lợi. Phía sau có sông, phía trước có đầm lớn, hình long, hổ ôm bế, lại có dải đất hình phượng hoàng, có giếng nước trong, nhân dân no đủ, phong tục thuần hậu, ông bèn định cư ở đây.

Lưu Ngữ đã lấy bà Trần Thị Ngọc nhưng chưa có con, ở Lưu Xá ông lại lấy bà Phạm Thị Hồng con ông Phạm Khuông, một nhà giàu có, hào hiệp. Dù làm thiếp nhưng cô Hồng biết cư xử với bà chánh thất nên dân làng đều khen ngợi. Lưu Ngữ sống hòa thuận, dù làm quan nhưng không kiêu ngạo, lại chăm làm việc thiện nên được dân làng quý mến, rồi điều mong mỏi của ông bà đã đến, cả hai bà đều mang thai, ngày 12 tháng 8 năm Kỷ Sửu (989) vào giờ Dần bà Ngọc đã sinh được một người con trai, đến giờ Ngọ cùng ngày bà Hồng cũng sinh được một con trai. Cả hai đứa trẻ đều mặt mũi khôi ngô, vợ chồng ông Ngữ liền đặt tên cho anh là Lưu Đàm, em là Lưu Điều, hai tên Đàm và Điều đều có nguồn gốc từ tên cha (Trong chữ Hán, chữ Ngữ, Đàm, Điều đều có bộ ngôn…)

Lưu Đàm, Lưu Điều thông minh, sáng dạ, lên 5 tuổi đã hiểu biết được luật âm thanh. Lên 8 tuổi, ông bà gửi hai con đến học thầy Hoa Đường ở kinh đô Hoa Lư. Sau 5, 6 năm theo học thì tam phần, ngũ điển (những sách cổ của Trung Quốc) đều thông hiểu; lục thạo, tam lược (những sách về binh pháp) đều tinh thông, song tính cách và sở trường của mỗi người có khác nhau: Lưu Đàm uyên thâm sâu sắc về văn học, tính nết hiền hậu, ôn hòa. Lưu Điều giỏi võ nghệ, tính khí hiên ngang. Cả hai đều có chí giúp nước, giúp dân, che chở cho dân.

Vua Lê Đại Hành mất (1005), Lê Long Đĩnh lên thay. Lưu Ngữ được giữ chức Thái Bảo, song Long Đĩnh “làm việc càn dỡ, giết vua cướp ngôi, thích dâm đãng tàn bạo”. Long Đĩnh chỉ ở ngôi được 4 năm (1006-1009) thì mất, Lưu Ngữ nhớ lại có lần gặp một cụ già đưa cho ông một bài thơ 4 câu, giờ ngẫm lại đúng:
 

 

(Nghĩa là: họ Lê mất, họ Lý sẽ làm vua, ta cho ngươi hai đóa mẫu đơn sau sẽ sinh hai người con tài hoa).
 

Ngọa Triều có lần ăn quả khế lai có hạt mận, lại nghe có sấm truyền nhà Lê sẽ mất, nhà Lý sẽ lên, liền cho người tìm trong thiên hạ, ai họ Lý thì giết. Bấy giờ, Lý Công Uẩn là quan thần vệ đứng bên mà không biết, Lưu Ngữ đến nói với Lý Công Uẩn “thần xem tướng ngài về sau ắt sẽ là bậc đại quý, thần có hai đứa con xin đại nhân thương cho, khiến các con thần chọn được chủ mà thờ”. Lý Công Uẩn không dám nhận, trong lòng sợ hãi nói: “Nay thần và khanh cùng một vua, thần đâu dám mong nỗi gì, sao khanh lại ngỏ lời nói ấy”. Lưu Ngữ khẩn thiết nói đến hai ba lần. Lý Công Uẩn cũng nhìn thấy Lưu Đàm, Lưu Điều đường đường uy dũng nên ông mới ưng thuận nhận hai con trai của Lưu Ngữ vào làm thủ túc.

Sau khi đã ký thác gửi lại hai con, Lưu Ngữ gọi các con lại dặn dò ba việc:

- Việc thứ nhất: phải hết lòng phụng sự Lý Công Uẩn.
- Việc thứ hai: muốn được ghi tên mình vào trúc bạch (sử sách) thì chớ có chơi bời du đãng, phải tạm xa rời thân thiết, không nặng gánh gia đình, chỉ biết có vua.
- Việc thứ ba: Lưu Xá là nghĩa ấp, phải qua lại chăm sóc giữ gìn…

Nói xong Lưu Ngữ từ biệt Lý Công Uẩn về trí sĩ. Lưu Đàm, Lưu Điều ở lại với Lý Công Uẩn.