El grupo nace en 1990, cuando Andrés Calamaro llega a España. Allí se encuentra con el argentino Ariel Rot, que ya había tocado con él en Argentina, y el español Julián Infante. Ariel Rot y Julián Infante habían sido componentes del grupo juvenil Tequila. Los tres, junto a Germán Vilella, el otro español de la banda, comienzan sus ensayos y pequeños conciertos por Madrid.

En principio la banda se iba a llamar Los Locos, pero pronto se enteraron de que ya existía un grupo asturiano que se llamaba así. El nombre definitivo se debe a que a Calamaro le hizo gracia cuando se enteró del significado que tiene en España la expresión "estar de Rodríguez" (cuando el cabeza de familia se tiene que quedar en la ciudad por cuestiones de trabajo, mientras su esposa e hijos disfrutan en la playa), pues él mismo estaba "de Rodríguez", ya que había dejado a su novia en Argentina.

Tras componer sus primeras canciones sacan en 1991 su primer disco: Buena suerte, que gozó de una gran aceptación en Argentina, debido principalmente por la versión que de la canción "Mi enfermedad" hizo Fabiana Cantilo. En España, sin embargo, no llegó a ser muy conocido debido a que la discográfica que lo editó (Pasión) quebró al poco tiempo y la venta de discos se detuvo.

En 1992 sacan un disco de temas en directo, grabados en Madrid, Barcelona y Caracas, con el nombre de Disco pirata. En ese mismo año TVE 'resucita' su canción "engánchate conmigo" y la convierte en la banda sonora de su promoción de verano'92. Este hecho da al grupo un pequeño impulso hacia la fama, antes del empujón definitivo de su siguiente disco. En 1993 sacan de nuevo un disco de estudio, Sin documentos, cuyo tema homónimo goza de un gran éxito en España. Además, esta canción se usó en la banda sonora de la película de Marcelo Piñeyro Caballos salvajes, una producción argentina que tuvo gran éxito en su país de origen. Aunque el disco tuvo mayor aceptación en Argentina que en España, fue el encargado de asentar a la banda como uno de los grandes de rock en español a ambos lados del charco.
En 1995 lanzan su último disco de composiciones nuevas, titulado Palabras más, palabras menos, con famosas canciones como "Mucho mejor" o "La milonga del marinero y el capitán" y que fue un éxito total de ventas en España, sólo superado por el siguiente. Además, confirman su sociedad con Joaquín Sabina lanzándose a una gira conjunta por el territorio español.

Tras el lanzamiento al mercado su disco de grandes éxitos bajo el nombre de Hasta luego(1996) el grupo inicia la que sería su última gira. Este disco fue el más vendido de su carrera. Y escenificaba la disolución del grupo, principalmente por desaveniencias económicas.

Una de las peculiaridades de Los Rodríguez es haber sido un grupo sin bajista. En la historia de la banda, cabe destacar la colaboración de dos bajistas. En una primera época, el bajista de la banda fue Candi Avelló, posteriormente sustituido por Daniel Zamora, el cual se incorporaría como bajista de cabecera, y que editó en el año 2002 un libro de fotos sobre la banda bajo el título Los Rodríguez desde la cocina.

En los primeros tiempos del grupo también fue un destacado colaborador el guitarrista español Guillermo Martín, también al bajo. Desde la separación del grupo, Andrés Calamaro y Ariel Rot continuaron una carrera en solitario ya comenzada antes de la formación. En el año 2000 falleció el guitarrista Julián Infante en una clínica de Madrid.

En 2006, tras diez años de la separación del grupo, Andrés Calamaro y Ariel Rot se reúnen de nuevo para realizar una pequeña gira que comienza el 27 de mayo en el festival "Valladolid Latino" , terminando el 10 de Diciembre en el Estadio Obras Sanitarias de Argentina, pasando antes por Salamanca y Murcia en España.

La idea de Calamaro era crear un sonido a medio camino entre el rock anglosajón, con importantes influencias de los Rolling Stones, y la música de raíz española, principalmente la rumba y el flamenco. Buen ejemplo de ello son "Sin Documentos", "Engánchate conmigo" o "Para no olvidar", que contó con la guitarra de Raimundo Amador. Aún así, tanto Rot como Calamaro, los principales compositores del grupo, siempre se han caracterizado por su eclecticismo musical, también presente en su etapa en Los Rodríguez, en la que flirtearon con géneros como el bolero "Copa rota", la ranchera "Salud, dinero y amor", "Sol y sombra" o "El último trago", la milonga "Milonga del marinero y el capitán", el funk "No estoy borracho", "Algo se está rompiendo" y el blues "El profesional".