Là anh của nhạc sĩ Phạm Duy, con ông Phạm Duy Tốn. Ông biết đánh đàn và nghe nhạc cổ điển, nhạc bình dân (POP) của Âu Tây từ ngày còn bé; biết nhạc dân tộc cổ truyền từ khi có hai chị em học đàn tranh nơi bà Ấm Chung ở Hà Nội; biết thưởng thức Chèo, Cải Lương khi ở Hưng Yên.
Khi cuộc Cách Mạng Mùa Thu năm 1945 nổ ra kéo theo Cuộc Kháng Chiến năm 1946, Phạm Duy Nhượng là trưởng đoàn văn nghệ học sinh ở Thái Nguyên. Vì phải chọn nghề giáo là chính, ông chỉ viết nhạc là nghề tay trái trong những khi rảnh rỗi.
Theo lời kể của nhạc sĩ Phạm Duy:
Anh Nhượng chăm học và ít ham chơi. Anh luôn luôn đứng đầu các lớp ở Trường Nguyễn Du. Có lẽ vì anh bị bệnh thương hàn lúc còn bé rồi mang tật méo mồm nên anh có một đời sống hơi khép kín. Tài hoa của anh chỉ có dịp phát tiết ra ngoài khi về sau, tôi kéo anh vào chơi trong một lĩnh vực nghệ thuật mà tôi đang cổ võ: phổ biến một nền âm nhạc mới toanh, so với nền nhạc cổ đang suy tàn.
Sau khi tốt nghiệp ở trường Bưởi, anh Nhượng phải vào học tại Trường Sư Phạm, ít năm sau trở thành một thầy giáo được phái đi gõ đầu trẻ tại tỉnh Hưng Yên. Mẹ tôi và người chị chưa lấy chồng đi theo anh Nhượng về Hưng Yên.
Thời kỳ này người Pháp đang thua trận ở ''mẫu quốc'' nên tạo ra Phong Trào Thể Dục Thể Thao tại các thuộc địa để thu hút thanh niên, anh Nhượng được giao cho việc huấn luyện học sinh trong truờng về các môn như nhẩy cao, nhẩy xa, chạy nhanh 100 thước v.v
Sau đó tôi bỏ nhà đi Bắc Giang rồi đi theo một gánh hát lưu diễn từ Bắc vào Nam, anh Nhượng thì lấy vợ là Hoàng Thị Sâm, học trò của mình và là cô con gái nhà lành đẹp nhất Hưng Yên. Trong khi tôi đi xa và không hề có thư từ liên lạc gì với gia đình thì ở nhà, chị Sâm sinh cho anh Nhượng hai đứa con trai, rồi bất ngờ qua đời vì bệnh thương hàn do sự bất cẩn của ông bác sĩ tỉnh nhỏ. Mẹ tôi, chị tôi vẫn ở với anh Nhượng cho tới ngày Sở Học Vụ thuyên chuyển anh tôi đi Thái Nguyên
Khi gánh hát đang dừng chân trên đường lưu diễn ở Đà Nẵng, tôi ghé về thăm gia đình ở Thái Nguyên trong dịp Tết 1943. Sau ngày vợ chết, trong mấy năm liền anh Nhượng dường như đắm mình vào sự đau khổ, anh ấy luôn giở những chiếc áo dài của vợ ra coi rồi ngồi ôm mặt khóc.
Rồi hai anh em lại xa nhau. Tôi chỉ gặp lại anh Nhượng vào năm 1947, khi trên đường kháng chiến, tôi tới Thái Nguyên. Mẹ tôi và chị tôi đã về Hà Nội, Anh Nhượng sống một mình trong thành phố đã bị phá hủy, nhưng sau đó vài năm, anh tái hôn với một cô gái Thái Nguyên rồi vợ chồng kéo nhau về Hà Nội, lúc đó tôi cũng đã giã từ kháng chiến để vào sinh sống tại Saigon năm 1950.
Khi tôi mang đoàn GIÓ NAM ra trình diễn tại Hà Nội năm 1953, thấy anh Nhượng ngỏ ý muốn di cư vào Nam, tôi bèn giúp anh cùng vợ con đáp máy bay vô Saigon. Ban đầu, anh chị Nhượng và mấy đứa con ở chung với gia đình tôi, sau khi tìm được việc dạy học tại một trường tư ở Thủ Ðầu Một thì dọn qua một căn nhà nhỏ ở giữa ngõ E đường Chi Lăng, Phú Nhuận (nhà tôi ở đầu ngõ).
Ðời sống của một giáo viên tỉnh nhỏ, dù dưới thời Pháp thuộc hay sau khi nước Việt Nam đã trở thành một nước Cộng Hoà, dù là giáo viên ăn lương Nhà Nước hay là giáo viên tư thục, cũng đều là một đời sống chỉ đủ ăn nếu không muốn nói là nghèo.
Năm 1967 anh Nhượng chết vì bệnh ung thư phổi, để lại người vợ trẻ và một đàn con thơ dại.
