Lo más lógico que cabe pensar, y lo más probable, es que el primer instrumento musical utilizado por las poblaciones humanas fuera la propia voz.
Hay evidencias del uso de instrumentos musicales desde el Paleolítico medio, pero es en el superior donde se encuentran los instrumentos musicales más antiguos hallados hasta el momento, así como sus representaciones artísticas. Es, gracias al arte mueble y parietal, donde se reconocen parte de los instrumentos musicales que utilizaban.
Se cree que los primeros instrumentos musicales que se crearon fueron los de percusión, ya fuesen de piedra, madera o pieles. Es difícil demostrar que una piedra fuese utilizada para producir sonido y crear un ritmo porque las marcas que quedan resultan muy ambiguas. En cuanto a la madera o las pieles, no quedan vestigios porque su conservación es casi imposible. Por este motivo es mucho más difícil demostrar la existencia de instrumentos de percusión, como tambores o panderos, que de viento, como silbatos o flautas.
En el yacimiento de Mezin, en Ucrania, se hallaron seis huesos de mamut con señales de haber sido percutidos. Estaban dentro de un conjunto con piezas de marfil que habían sido decoradas con ocre, mazos y otros elementos similares. La discusión sobre su uso aún sigue abierta.
También se han hallado sonajeros realizados con hueso o con semillas, así como caracolas y cuernos que se piensa que se utilizaban para producir sonido.
En los yacimientos europeos se han encontrado, sobre todo, flautas, silbatos y bramaderas, estas últimas realizadas en hueso o en madera.
Las bramaderas son placas atadas a una cuerda que suenan al girarlas a gran velocidad. Hay debate alrededor de muchas de estas piezas porque donde unos ven un instrumento musical, otros ven pesos para las redes de pesca o cualquier otro utensilio. Hay algunas decoradas con ocre que no ofrecen demasiadas dudas.
Los silbatos son uno de los instrumentos más antiguos de los que hay constancia. Hay piezas encontradas en contextos que les dan 30.000 años de antigüedad. Estaban realizados en huesos cortos, como falanges, y producían sonido al soplar por ellos.
Las flautas son otro de los instrumentos musicales de los que se han hallado más piezas. Hay una división entre los que estudian estos restos ya que algunos piensan que los agujeros que tienen los huesos son de origen antrópico y que su función era la producción de sonido mientras que otros defienden que pueden ser casuales o, incluso, realizados por la mordida de algún animal. Donde no cabe ninguna duda es en contextos Magdalenienses o Solutrenses, donde estas piezas han aparecido decoradas con incisiones y policromías.
La flauta más antigua aceptada como tal por la comunidad científica hasta mayo de 2012, es una pieza realizada a partir de un cúbito de cisne, datada en 36.000 años BP en el yacimiento de Geissenklösterle, en Alemania. Aunque se le estima una longitud de 17 centímetros, solo se conservan 12. Presenta tres orificios que han sido realizados con algún tipo de instrumento. En este mismo yacimiento, en 2009, se halló una flauta realizada sobre el radio de un buitre y otra en marfil de mamut. Una datación sobre estas dos piezas ha revelado una edad de 43.000 años, con lo que han pasado a ser consideradas como el vestigio más antiguo de instrumento musical. Este yacimiento está asociado a Homo sapiens.
En 1995 se encontró en el yacimiento en cueva de Divje Babe, en Eslovenia, una flauta con una antigüedad de unos 45.000 años, aunque recientemente se ha propuesto una datación de 43.100 años. Está realizada en un fémur de oso de las cavernas. Por el contexto en el que fue localizado, este instrumento ha sido asociado a Homo nenderthalensis. Su hallazgo e interpretación está cargado de polémica porque hay muchos investigadores que solo atribuyen capacidades simbólicas y artísticas a Homo sapiens.
En 2008, los arqueólogos descubrieron una flauta de hueso en la cueva Hohle Fels, cerca de Ulm, Alemania. La flauta tiene una boquilla en forma de V y cinco agujeros. Está realizada con un hueso de ala de buitre. En la misma zona se han hallado varios instrumentos más, con una datación de 35.000 años. La flauta de Hohle Fels fue encontrado al lado de las Venus de Hohle Fels.
