Bánh tẻ Phú Nhi có nguồn gốc từ một câu chuyện tình rất  mộc mạc, giản dị của anh chàng họ Nguyễn và cô gái họ Hoàng.
 
Chuyện kể rằng "Nguyễn Phú ở Giáp Ðoài con bà Trọng làm nghề bán dầu vỏ, anh  to khỏe, người đậm, bố là người nông dân hiền lành chất phác, Phú thông minh,  khuôn mặt sáng sủa. Còn Hoàng Nhi là con bà Hương làm nghề nấu bánh đúc hằng  ngày đem bán ở chợ gốc cây gạo còng ngày xưa. Bánh đúc ở Phú Nhi ngon, có tiếng  một vùng thế mới có câu.
 
"Em là con gái Phú Nhi
 
Bánh đúc bỏ bị vừa đi vừa nhòm".
 
Phú và Nhi biết nhau qua những buổi chợ hằng ngày, vì Nhi phải đem hàng cho mẹ,  cuộc tình cứ thế lớn dần theo ngày tháng, rồi một hôm chàng đánh bạo sang nhà  nàng chơi, lúc Nhi đang khuấy nồi bánh đúc cho mẹ, quên bẵng việc cho vôi vào nồi  bột, khi nghe có tiếng động ngoài ngõ.
 
Nhi ra mở cổng và mời chàng vào nhà. Hai người ngồi tâm tình nói chuyện mà  quên mất nồi bánh đúc đang nấu dở trên bếp lửa, khi mở ra thì đã quá muộn nồi  bánh đúc nửa sống, nửa chín, ngọn lửa của bếp đã tắt tự bao giờ.
 
Nhi sợ mẹ mắng  nhưng Phú vốn thông minh đã tìm cách che đậy lỗi với mẹ cho người yêu. Nhưng chẳng  may em của Nhi biết được đã mách bố về chuyện này. Bố Nhi rất nghiêm  khắc, phong kiến, ông tìm mọi cách ngăn cản mối tình trong trắng, đẹp đẽ ấy rồi ông cấm  Nhi không được mang hàng cho mẹ.
 
Thế là từ đó hai người mãi mãi chẳng có dịp được gặp nhau.
 
Từ hôm đó Hoàng  Nhi sinh bệnh rồi ốm nặng, gia đình đã mời nhiều vị thầy thuốc giỏi về chữa nhưng  đành bó tay. Lại nói chuyện Nguyễn Phú khi xảy ra chuyện hỏng nồi bánh đúc, chàng mang nồi  bột về nhà và nghĩ bỏ đi thì tiếc nên đành nghĩ ra cách là ra vườn ngắt lá dong,  lá chuối khô lau sạch rồi thái hành làm nhân, một mình tự thao tác phết bột vào  lá dong, cuốn lá chuối khô bên ngoài, lấy dây giang cuốn lại rồi bắc lên bếp  đồ (luộc) khi có mùi thơm bốc lên Phú đoán là bánh chín, bóc ra để nguội  ăn thấy ngon hơn bánh đúc và thế là chiếc bánh tẻ ở buổi bình minh sơ  khai đã ra đời từ đó.
 
Phú đã làm và nhân rộng ra thật nhiều để mẹ mang đi chợ bán và hàng bánh ngày  càng đắt giá, gia đình Phú trở nên khá giả, giàu có. Bánh làm ra càng nhiều Phú  càng nhớ Nhi nhiều hơn. Những ngày giỗ nàng, chàng tự tay cải tiến cách làm bánh  và làm những chiếc bánh thật ngon để gửi sang nhà cúng tưởng nhớ người yêu xưa  và chàng cũng không lấy vợ chỉ chuyên tâm cho nghề".
 
Bánh tẻ Phú Nhi ngày nay  đã trở thành một món ăn nổi tiếng của nhân dân thị xã Sơn Tây nói riêng và các  vùng lân cận nói chung.
 
Khách có thể dùng làm bữa điểm tâm sáng, hay dùng ăn thay bữa ăn hằng ngày,  ăn bánh vào cơ thể dễ tiêu. Bánh tẻ Phú Nhi đã và đang là sản phẩm, món quà thật  quý báu của quê hương dành cho du khách bốn phương.