Pleasure is not the main thing, and if one merits, it too will eventually come

אין התענוג עיקר, ואם יזכה הרי ג"ז סופו לבוא
Shiurim in this topic
259. The Value of Torah Study in Egypt and Spreading Chassidus ערך לימוד התורה במצרים והפצת חסידות