Cuando improvisas no tienes que estar necesariamente pensando en escalas, patrones, etc, se puede perfectamente improvisar sin pensar en escalas, lógicamente tienes que tener práctica suficiente para que si estás creando una melodía en tu cabeza, tus dedos sepan dónde pulsar para crear esa melodía. Evidentemente el haber practicado escalas ayuda mucho a que encuentres las notas que quieres tocar.
Otra cosa es que el analizar previamente un tema, sus cambios, tonalidades, etc, te ayude a saber por dónde te puedes mover al tocar, pero una vez asimilado eso, al tocar no estás pendiente de cada nota que pulsas ni tienes que pensar en dónde está cada nota de la escala que haces, llega a ser algo inconsciente que haces automáticamente. Y por supuesto que disfrutas. Yo disfruto igual haciendo un blues con pentatónicas que haciendo un tema con cinco cambios de tonalidad. Evidentemente me puedo equivocar tocando, y me pasa a menudo pero no por eso dejo de disfrutar.
A menudo en las jams me dejo llevar y a posteriori analizo lo que he tocado y veo que hay un montón de cambios de escala, modos, etc, algunos de ellos intencionados en plan "ahora voy a tocar en modo lidio" y otros, la mayoría, totalmente inconscientes que surgen por sí solos al ir creando melodías.
Mi nivel es bastante modesto, pero estoy seguro de que si supiera mucha más teoría y tuviera mucha más práctica no dejaría de disfrutar tocando, todo lo contrario, tendría más facilidad de hacer muchas más cosas diferentes y sin esfuerzo, y disfrutaría aún más...