Am 07. 12. 1989, zwei Monate nach der Grenzöffnung, wurde Mielke wegen „Schädigung der Volkswirtschaft“ und „Hochverrat durch verfassungsfeindliche Aktionen“ in Untersuchungshaft genommen. Allerdings wurde er am 08.03.1990 aus gesundheitlichen Gründen wieder entlassen. Im Juli desselben Jahres kam er erneut in Untersuchungshaft, nachdem das Krankenhaus der Volkspolizei seine Haftfähigkeit bestätigt hatte. Ihm wurden „Verbrechen gegen die Menschlichkeit“ und „Rechtsbeugung“ vorgeworfen.

Ende 1990 konzentrierten sich die Ermittlungen allerdings auf Mielkes Beteiligung am Mordanschlag auf dem Bülowplatz von 1931.

Bereits 1934 wurde deshalb ein Verfahren gegen ihn eingeleitet, welches allerdings eingestellt werden musste, da Mielke flüchtig war, während seine Mittäter hart bestraft wurden. Nach Ende des zweiten Weltkriegs erließ die Staatsanwaltschaft Berlin erneut Haftbefehl gegen ihn, allerdings beschlagnahmte die sowjetische Besatzungsmacht die Verfahrensakten. Dies ermöglichte ihm in der  DDR-Zeit seine ungestörte Karriere in der Stasi.

Nun eröffnete das Landgericht Berlin im November 1991 das Hauptverfahren gegen Mielke wegen der „Bülowplatzsache“. Er wurde des Mordes angeklagt. Die Verhandlungen liefen vom Februar 1992 bis Oktober 1993. Letztendlich wurde er wegen Mordes zu einer Freiheitsstrafe von sechs Jahren verurteilt, aus welcher er jedoch Ende 1995 im Alter von 88 Jahren auf Bewährung entlassen wurde. Er starb am 21. Mai im Jahre 2000.