Der Verein wurde am 4. März 1934 in Wittlaer am Rhein (heute: Düsseldorf-Wittlaer), in der Gaststätte „Brands Jupp“ gegründet. Die Gründer des Vereins waren die sieben Sportfreunde:
Josef Hück
Johann Gronen
Theodor Kuhlmann
Alban Brand
Hubert Knelleken
Otto Wolf
Albert Zichmanowski
Die ersten Vereinsjahre trug der Verein den Namen „Angelsportverein Wittlaer“. Als Angelgewässer stand dem Verein nur die Rheinstrecke in Wittlaer (rechtes Ufer, ca. 4km ab Schwarzbachmündung) zur Verfügung. Im Jahre 1954 konnte durch die Bemühungen des 1. Vorsitzenden Josef Hück der Baggersee an der Karthäuserstraße in Düsseldorf-Unterrath langfristig gepachtet werden. Nach einer zwischenzeitlichen Ausbaggerung und Ausdehnung hatte der See eine Wasserfläche von 15ha und Wassertiefen bis zu 15 Meter. Am „Josef-See“ begann der Schwerpunkt der Vereinsarbeit und der große Durchbruch des Vereins zum Anziehungspunkt vieler Sportfreunde.
Da der eigentliche Angelsport nun nicht mehr in „Wittlaer am Rhein“ (heute: Düsseldorf-Wittlaer), sondern in Düsseldorf stattgefunden hat, wurde der Verein im Jahre 1963 zu „Angelsportverein Düsseldorf und Wittlaer“ umbenannt. Nach Ablauf des Pachtvertrags wurde das einstige Vereinsgewässer in Düsseldorf-Unterrath verfüllt und für neue Stadtplanungsmaßnahmen aufgearbeitet. Im Herbst 1967 konnte die Rheinstrecke „Schnellenburg“ (rechtes Rheinufer ab Schnellenburg bis Stadtgrenze) angepachtet werden. Jedoch konnte sich das Vereinsleben am Rhein nicht weiterentwickeln, da es keinen zentralen Anlaufpunkt für die Vereinsmitglieder gab. Deswegen war der Vorstand stets bemüht ein ähnliches Gewässer wie den „Josef-See“ zu finden. Der Baggersee in Düsseldorf-Lichtenbroich steht dem Verein seit dem Jahre 1969 zur Verfügung. Vereinsintern wird der See „Gronen-See“ genannt. In dieser schönen waldreichen Gegend hat der Verein sich eine Schutzhütte erbaut, die über die Jahre zum Mittelpunkt des Vereinslebens geworden ist. Im Jahre 1972 konnten verschiedene Schwarzbachstrecken sowie der Schlossgraben des Schlosses in Düsseldorf-Kalkum gepachtet werden. Zusätzlich gelang es den Baggersee der Firma Kalsiton in Ratingen in Pacht zu nehmen. Er lag auf einem geplanten Erholungsgebiet der Stadt Ratingen. Im Herbst 1982 wurde ein zweiter Teil des danebenliegenden Sees zum Baggersee-Kalsiton hinzugepachtet werden. Vereinigt hat der See heute ca. 20ha Wasserfläche. Er trägt mittlerweile den Namen „Grüner See“ und liegt im Erholungsgebiet Volkardey in Ratingen.
Die vier Gewässer Gronen-See, Grüner-See, Schwarzbach und der Kalkumer Schlossgraben sind bis heute die Vereinsgewässer des ASV Düsseldorf und Wittlaer e.V.