Nach einer Reihe kostspieliger Fehlschläge und angesichts des klar verfehlten Ziels, eine auch kommerziell erfolgreiche Rakete zu entwickeln, wurde die H-​II Rakete der NASDA ab 1996 einem kompletten Redesign unterzogen. Die grundsätzliche Auslegung blieb unverändert, d.h. zwei kryogene Stufen mit optional einem Paar seitlich montierter Booster. Doch im Detail gab es erhebliche Veränderungen. Bei einer in der Grundkonfiguration gegenüber der H-​II unveränderten Nutzlastkapazität von etwa 2 Tonnen sanken die Kosten um etwa 50% (8,5 Mrd. ¥ vs. 19 Mrd. ¥). Die Anzahl der Bestandteile konnte gegenüber der H-​II von 320.000 auf 280.000 reduziert werden. Zudem ließ das Design jetzt eine flexiblere Anpassung an unterschiedliche Nutzlasten zu. So konnte der Schub durch die zusätzliche Installation von zwei oder vier kleineren SSB Feststoffboostern in kleinen Stufen weiter gesteigert werden, während in der stärksten Variante vier große SRB-​A Booster zum Einsatz kamen. Dafür mußte allerdings eine komplett neue Zelle für die Erststufe entwickelt werden, die die Kräfte der Booster in unterschiedlichsten Konfigurationen aufnehmen konnte. Der LE-​7 A Antrieb der Zentralstufe wurde aus dem LE-​7  der H-​II entwickelt. Das Triebwerk war grundlegend überarbeitet worden, die Anzahl der Einzelteile wurde drastisch reduziert und der Fertigungsprozeß stark vereinfacht. Vollkommen neu war der Aufbau der Treibstofftanks in der Erststufe. Bestand der Tank bei der H-​II noch aus sieben miteinander verschweißten Teilen, wurde er nun aus einem Stück gefertigt. Den umgekehrten Weg beschritt man bei der Zweitstufe. Hier war bisher ein monolithischer Tank eingesetzt worden, bei dem die kryogenen Treibstoffkomponenten durch ein Vakuum getrennt wurden. Zugunsten einer einfacheren Fertigung und Montage kehrte man bei der H-​IIA zu getrennten Tanks aus Aluminium zurück, die mit einer kraftaufnehmenden Struktur verbunden wurden. Zwar stieg die Masse der Konstruktion dadurch an, die Vorteile der einfacheren Handhabung überwogen aber klar. Das in der Zweitstufe eingesetzte LE-​5 B Triebwerk war eine Weiterentwicklung des bewährten LE-​5  bzw. LE-​5 A Triebwerks mit ca. 13% höherem Schub. Zudem wurde die Möglichkeit einer mehrfachen Wiederzündung auch nach längerem antriebslosen Flug vorgesehen. Ebenfalls wurden zwei Schubregimes von 100% und 60% vorgesehen, während der Schub „im Leerlauf“ 3% des Nominalschubs betrug. In der Zweitstufe wurde auch Gas Jet System zur Lagekontrolle untergebracht und die Avionik-​Sektion. Die Druckbeaufschlagung der Sauerstofftanks beider Stufen wurde ebenfalls modifiziert. Statt Helium-​Druckgas wurde nun verdampfender Sauerstoff genutzt. Zunächst bei der Zweitstufe und den SRBs, im Laufe des Einsatzes auch bei der Erststufe, wurde der hydraulische Verstellmechanismus für die Schubvektorsteuerung durch elektrische Antriebe ersetzt. Diese Maßnahme sollte vor allem die Zuverlässigkeit steigern, da die Hochdruck-​Hydrauliksysteme als Schwachpunkte des bisherigen Systems angesehen wurden. Der Startschub der Erststufe wurde verstärkt durch den Einsatz von normalerweise zwei großen SRB-​A Feststoffboostern. Bei diesen handelte es sich um eine Neuentwicklung. Sie hatten wenig gemein mit jenem Modell, das noch bei der H-​II eingesetzt worden war. Während die alten Booster aus vier Segmenten zusammengesetzt wurden und wochenlang ausgiebigen Tests unterzogen werden mußten, erfolgte die Fertigung der neuen monolithischen Booster vor Ort in Tanegashima. Die wesentlich kürzeren Booster hatten ein Hülle aus kohlefaserverstärktem Kunststoff. Der hielt mit bis zu 12 MPa auch noch einem wesentlich höheren Druck stand als die alten Stahlsegmente (5,5 MPa). Die Technik für die Boostergehäuse entsprach jener der Castor 120 Triebwerke der Thiokol Corp. Bei den kleineren Zusatzboostern SSB griff man direkt auf das Modell Castor IVA-​XL der amerikanischen Thiokol Corp. zurück. Der Stufenadapter zwischen Erst– und Zweitstufe wurde bei der H-​IIA nun aus kohlerfaserverstärktem Kunststoff anstelle von Aluminium gefertigt, was Gewicht sparte. Die Avionik der H-​IIA wurde grundlegend überarbeitet und neu angeordnet. Das reduzierte drastisch den Aufwand bei der Installation der Nutzlasten, die nun problemlos über international standardisierte Schnittstellen angeschlossen werden konnten. Schließlich wurden neue Nutzlastverkleidungen eingeführt, deren Volumen unterschiedliche Missionen und Nutzlasten optimal unterstützte. Im Laufe des Einsatzes erfolgten immer wieder Detailverbesserungen und geringe Leistungssteigerungen. Diese kamen auch der H-​IIB zugute. Ursprünglich hatte die NASDA für die Schwerlastvariante der H-​IIA auf die Bündelung von Erststufenblöcken gesetzt, wobei in den „Boostern“ je zwei LE-​7 A zum Einsatz kommen sollten. Obwohl der Entwurf komplett ausgearbeitet war, entschloß sich die JAXA schließlich zu einer geänderten Auslegung. Nun wurde eine neue Erststufe mit vergrößertem Durchmesser (und 1 m mehr Länge) entworfen, die 70% mehr Treibstoff mitführen konnte. Der größere Durchmesser vereinfachte zudem den Einbau der zwei LE-​7 A Triebwerke. Über einen konischen Stufenadapter schloß sich die weitgehend unverändert von der H-​IIA übernommene Zweitstufe an. Lediglich strukturell mußten hier einige Verstärkungen eingeführt werden. Wichtigste Aufgabe der H-​IIB war der Transport des japanischen unbemannten Raumtransporters HTV. Mitsubishi Heavy Industries als Hersteller der Rakete hoffte aber auch auf einen stärkeren Anteil der Rakete im internationalen Startgeschäft für geostationäre Nutzlasten. Denn die Kapazität von 8.000 kg auf eine geostationäre Tranferbahn ließ nun, ähnlich wie bei der Ariane 5, auch den gleichzeitigen Transport von zwei mittelgroßen Kommunikationssatelliten zu.