Aunque a esta banda británica se le encuadró dentro del movimiento post punk o afterpunk, como se denominó a finales de los 70 al rock gótico primitivo (The Cure, Siouxsie and the Banshees, Bauhaus), ya que tenía gran parte de influencia del punk rock, ellos procuraron no repetirse en sus discos y sus influencias iban más allá del punk. Tomaban también elementos de la psicodelia y del heavy metal, logrando tener un estilo propio y reconocible.
Sobre Walker, su estilo de tocar era bastante disonante y estridente, utilizando riffs nada convencionales y acordes bastante raros y poco frecuentes. Guitarristas supuestamente más "virtuosos", caso de Jimmy Page, lo consideraron un guitarrista innovador. Su estilo fue influencia para muchas bandas, tanto de punk como de thrash metal, black metall u otros tipos de rock vanguardista. Algunas bandas con influencia clara de Killing Joke han sido Amebix, Metallica, Voivod, Prong, Ministry, Godflesh, Soundgarden, Emperor, Enslaved, por citar algunos.
Descanse en paz, Kevin "Geordie" Walker.