Conozco gente que tiene tan buen nivel de lectura en su instrumento que tener la partitura delante les permite montar el repertorio con rapidez y efectividad, la lectura no es un problema y les ayuda a tener una seguridad a la hora de tocar que, si tuviesen que fiarse de la memoria, no tendrían.
Por el otro lado, hay gente que la partitura les supone un esfuerzo adicional y les distrae de los aspectos más motores (donde poner los dedos) y de expresividad (dinámicas, tempos...)
Si estás montando cosas por pura afición y no tienes intención de montar repertorio de forma profesional, haz lo que te venga mejor. No son cosas excluyentes. Puede que haya fragmentos más fáciles de memorizar y los que sean más complicados, puedes tener la partitura delante para asegurar.
Tanto la lectura como la memoria se pueden trabajar y cuanto más tiempo le eches, mejor lo harás. No te agobies. Grandes músicos son incapaces de tocar sin partitura, y grandes músicos llevan todo de memoria.