High Bandwidth Memory

Läbilõige HBM-i kasutavast graafikakaardist

Suure andevahetuskiirusega mälu (inglise high bandwidth memory, lühend HBM) on arvuti mälu liides, mille peamised arendajad on Samsung, AMD ja SK Hynix. See koosneb kolmemõõtmeliselt kuhjatud dünaamilistest muutmäludest ehk DRAM-ist ja mälukontrollerist. Laialdaselt on kasutatud erinevates suure jõudlusega graafikakiirendites, võrguseadmetes, suure jõudlusega andmekeskustes ja mõningates superarvutites (nt NEC SX-Aurora TSUBASA^[1] või Fujitsu A64FX^[2]). Esimese HBM kiibi tootis SK Hynix 2013. aastal^[3] ja esimene seade, kus see kasutusele võeti, oli AMD Fiji seeria graafikakaartides (2015).^[4][5]

HBM standard (JESD235) adopteeriti esmalt standardiorganisatsiooni JEDEC poolt 2013. aasta oktoobris.^[6] Teine põlvkond (HBM2) on JEDEC poolt aktsepteeritud alates 2016. aasta veebruarist.^[7]

Tehnoloogia

HBM saavutab suuremad andmevahetuskiirused ja väiksema energiatarbe, samas vähendades elektroonika kokkupanemisel nõutavat pinda võrreldes DDR4 või GDDR5-ga.^[8] See on saavutatud kolmemõõtmeliselt ladudes kuni kaheksa DRAM Integraallülitust kuhja (sh baasintegraallülitus mälukontrolleriga), mis on sisemiselt ühendatud kasutades räni viaaleid^[9] (inglise through-silicone via, lühend TSV).

HBM AMD Fiji Graafikakaardil

HMB siin on võrreldes DDR4 või GDDR5 siiniga väga lai, kus üks HBM kuhi, ladudes neli DRAM integraallülitust, on kokku 1024 bitti lai (üksikul DRAM integraallülitusel on kaks 128-bitist kanalit). Graafikakaardi, näiteks AMD Radeon VII (Vega 20)^[10], liides, mis koosneb neljast sellisest kuhjast, teeb kokku 4096-bitise siini mäluga suhtlemiseks, võrreldes GDDR mäludega, millel on 16 kanalit 32-bitised, mis teeb kokku 512 bitti mäluga suhtlemiseks.

Tänu palju laiemale siinile on HBM mälu kordades kiirem GDDR5 mälust, samas väiksema taktsagedusega ja pingega, mis võimaldab toota tihedamaid mälusid ja madalamat energiatarvet. HBM töötemperatuur on võrreldes GDDR5-ga kuhjumise tõttu kõrgem.^[11] HBM liidese tootmine on kulukas ja hinda lisab veel protsessoriga otsene sidumine, samas siini rajad on lühikesed.^[12]

Ajalugu

Taust

Mälu integraallülituste kuhjamine oli algselt turustatud välkmälu tööstuses. Toshiba tutvustas kaheksa kuhjatud NAND välkmälu integraallülitust 2007. aasta aprillis ning Hynix Semiconductors järgnes 2007. aasta septembris 24 NAND välkmälu integraallülituse kuhjaga, mis on kokku ainult 1,4 mm paks.^[13][14]

Kolmemõõtmeliselt kuhjatud muutmälu (RAM), kasutades räni viaale (TSV), tehnoloogia turustati Elpida Memory poolt, kes arendas septembris 2009 välja esimese 8 GB DRAM kiibi (neli kuhjatud DDR3 SDRAM integraallülitust) ja väljastas 2011 juunis. 2011. aastal tutvustas SK Hynix 16 GB DDR3-mälu (40 nm klass), kasutades TSV tehnoloogiat. Samsung tutvustas kolmemõõtmeliselt kuhjatud 32 GB DDR3 septembris ning pärast kuulutasid Samsung ja Micron Technology välja TSV-baasil Hybrid Memory Cube (HMC) tehnoloogia oktoobris.^[3][15]

Arendamine

HBM liidese arendamine algas AMD poolt aastal 2008, et leida lahendus pidevalt tõusvale mälu energia tarbimisele ja arvuti mälu suurusele. Järgmise mitme aasta jooksul arendas AMD protseduure, kuidas lahendada kuhjatud integraallülituste probleeme. AMD kaasas ka partnereid mälu tööstusest, eriti Korea ettevõte SK Hynix, kellel oli varasem kogemus kolmemõõtmeliselt kuhjatud mäludega, samuti partnereid integraallülituste tööstusest (Taiwani firma UMC) ja pakendamise tööstus (Amkor Technology ja ASE).^[16]

HBM arendamine lõppes 2013, kui SK Hynix valmistas esimese HBM mälukiibi ja oli adopteeritud tööstusstandard (JESD235) JEDEC poolt 2013. aasta oktoobris.^[3][6]

Esimene HBM kasutav graafikakaart oli AMD Fiji seeria, mis väljastati 2015. aasta juunis.^[4]

2016. aasta jaanuaris alustas Samsung HBM2 masstootmist ja samal kuul aktsepteeriti HBM2 JEDEC (JESD235A).^[7] Esimene graafikakaart, mis kasutas HBM2 tehnoloogiat, oli Nvidia Tesla P100, see avalikustati ametlikult 2016. aasta aprillis.^[17]

Versioonid

HBM

Toetab kuni nelja kuhjatud DRAM integraallülitust, kuid kuhja maksimaalne mälumaht on 1 GB ning töökiirus (üks bitt) maksimaalselt kuni 1 GB/s (500 MHz). Siini laius on kuni 1024 bitti kuhja kohta ja maksimaalne siini andmevahetuskiirus ~128 GB/s.^[18] Mälu toitepinge 1,3V. Esimesena kasutusel AMD Fiji seeria graafikakaartides.

• 
  HBM DRAM integraallülitus
• 
  HBM kontroller integraallülitus
• 
  HBM liidesed Radeon R9 Nano GPU peal

HBM2

Sisuliselt sarnane HBM liidesega, kuid kuhjata on võimalik maksimaalselt kaheksa DRAM integraallülitust ja siini laius saab olla suurem kui 1024 bitti. Kuhja maksimaalne mälumaht on 8GB ja tõstetud töökiirus (üks bitt) 2 Gb/s (1000 MHz). 1024 bitise siini laiuse juures teeb maksimaalseks andmeedastuskiiruseks ~256 GB/s. Tööpinge langetati 1,2V peale ja tarbib vähem energiat kui HBM.^[18]

Prognoositakse, et HBM2 on eriti kasulik jõudlustundlikes tarbijarakendustes, näiteks virtuaalreaalsus.

• 
  HBM2 kontroller integraallülitus
• 
  HBM2 DRAM integraallülitus
• 
  Radeon RX Vega 64 GPU eemaldatud HBM2 liidestega

HBM2E

2018. aasta lõpus kuulutas JEDEC välja uuendatud HBM2 tehnilise kirjelduse, lisades andmevahetuskiirust ja suurendades mälumahtu.^[19] Võimalus kuhjata kuni 12 DRAM integraallülitust, mis teeb kuni 24 GB mälumahtu kuhja kohta. Suurendati töökiirust (üks bitt) 2,4Gb/s (1200 MHz) ja 1024.bitise siini korral kuni 307 GB/s andmevahetuskiirust.^[18]

20. märtsil 2019 kuulutas Samsung välja Flashbolt HBM2E, millel oli kaheksa integraallülitus kuhjas ja töökiirus 3,2 Gb/s, võimaldades kuni 16 GB mälumahtu ja 410 GB/s andmevahetuskiirust.^[20]

2. juuli 2020 alustas SK Hynix oma HBM2E masstoodangut, millel oli kaheksa integraallülitus kuhjas ja töökiirus 3,6 Gb/s, võimaldades kuni 16 GB mälumahtu ja 460 GB/s andmevahetuskiirust. Vähendati kuhja mõõtmeid 30% ja 50% tarbib vähem energiat võrreldes eelmiste pakke meetoditega^[21]

HBM3 (HBMnext)

On veel arendamisel, kuid on plaanitud valmis saada 2022. aastaks.^[22] HBM3 tuleks odavam, vähendaks tuuma pinge vähem kui 1,2-voldiseks, suurendab võimalikku siini andmevahetuskiirust ~512 GB/s. Samuti kahekordistatakse individuaalse mälu integraallülituse tihedust 8 Gb pealt 16 Gb (~2 GB) peale ja lubatakse kuhjata rohkem kui kaheksa integraallülitust, mis teeb 64 GB mälumahuga graafikakaardid võimalikuks.^[23]

HBM-PIM

2021. aasta veebruaris kuulutas Samsung, et arendab HBM liidest, millel toimub andmete töötlemine mälus. Selline uus viis toob tehisintellekti arvutuste võimekuse mälusse andmete suuremahulise töötlemise suurendamiseks. DRAm optimeeritud tehisintellekti mootor oleks paigutatud igas mälupangas, et minimeerida andmete liikumist ja võimaldada paralleelset töötlemist. Samsung väidab, et see võimaldab topelt süsteemi jõudlust ja vähendab energia tarvet rohkem kui 70% ilma riistvara või tarkvara muutmise vajaduseta terves süsteemis.^[24]

Viited

1. "NEC SX-Aurora TSUBASA". NEC. Vaadatud 29. aprillil 2021.
2. "CRAY AND FUJITSU PARTNER TO POWER SUPERCOMPUTING IN THE EXASCALE ERA". Fujitsu. 13. november 2019. Vaadatud 29. aprillil 2021.
3. "History: 2010s". SK Hynix. Originaali arhiivikoopia seisuga 17. mai 2021. Vaadatud 29. aprillil 2021.
4. Ryan Smith (2. juuli 2015). "The AMD Radeon R9 Fury X Review". AnandTech. Vaadatud 29. aprillil 2021.
5. Timothy Prickett Morgan (25. märts 2014). "Future Nvidia 'Pascal' GPUs Pack 3D Memory". Enterprise AI. Vaadatud 29. aprillil 2021.
6. "JEDEC JESD 235". Engineering 360. Vaadatud 30. aprillil 2021.
7. "JEDEC Updates Groundbreaking High Bandwidth Memory (HBM) Standard". JEDEC. 12. jaanuar 2016. Vaadatud 29. aprillil 2021.
8. "High-Bandwidth Memory (HBM)" (pdf). AMD. Vaadatud 29. aprillil 2021.
9. "Räni viaali kolmemõõtmelise profiili hübriidne mittepurustav mõõtmismeetod nutiseadmete realiseerimiseks". TECHWEB24.com. Vaadatud 30. aprillil 20021. {{netiviide}}: kontrolli kuupäeva väärtust: |vaadatud= (juhend)^{[alaline kõdulink]}
10. "AMD Radeon™ VII Graphics Card". AMD. Vaadatud 29. aprillil 2021.
11. "3-in-3: High Bandwidth Memory". AMD. 17. juuli 2015. Vaadatud 29. aprillil 2021.
12. Steve Burke (25. august 2017). "The Cost of HBM2 vs. GDDR5 & Why AMD Had to Use It". Gamers Nexus. Originaali arhiivikoopia seisuga 1. mai 2021. Vaadatud 1. mail 2021.
13. "TOSHIBA COMMERCIALIZES INDUSTRY'S HIGHEST CAPACITY EMBEDDED NAND FLASH MEMORY FOR MOBILE CONSUMER PRODUCTS". TOSHIBA news. 17. aprill 2007. Originaali arhiivikoopia seisuga 23. november 2010. Vaadatud 30. aprillil 2021.
14. Kim Yoo-chul (5. september 2007). "Hynix Surprises NAND Chip Industry". TheKoreaTimes. Vaadatud 30. aprillil 2021.
15. Kazuo Kondo, Morihiro Kada, Kenji Takahash (2015). Three-Dimensional Integration of Semiconductors: Processing, Materials, and Applications. Springer International Publishing AG Switzerland. Lk 16.
16. "High-Bandwidth Memory (HBM) from AMD: Making Beautiful Memory". AMD. 16. juuni 2015. Vaadatud 30. aprillil 2021.
17. Ryan Smith (5. aprill 2016). "NVIDIA Announces Tesla P100 Accelerator". AnandTech. Vaadatud 30. aprillil 2021.
18. Akshat Verma (11. detsember 2020). "GDDR5 vs GDDR5X vs HBM2 vs GDDR6 vs GDDR6X Memory Comparison". Graphics Card Hub. Vaadatud 29. aprillil 2021.
19. "JEDEC Updates Groundbreaking High Bandwidth Memory (HBM) Standard". JEDEC. 17. detsember 20018. Vaadatud 29. aprillil 2021. {{netiviide}}: kontrolli kuupäeva väärtust: |aeg= (juhend)
20. "Samsung Electronics Introduces New High Bandwidth Memory Technology Tailored to Data Centers". Samsung. 20. märts 2019. Vaadatud 29. aprillil 2021.
21. "SK hynix Starts Mass-Production of High-Speed DRAM, "HBM2E"". SK hynix Newsroom. 2. juuli 2020. Vaadatud 29. aprillil 2021.
22. Micron (14. august 2020). "Micron reveals HBMnext, a successor to HBM2e". VideoCardz.com. Vaadatud 29. aprillil 2021.
23. "HBM3: Cheaper, up to 64GB on-package, and terabytes-per-second bandwidth". arstechnica.com. 23. august 2016. Vaadatud 29. aprillil 2021.
24. "Samsung Develops Industry's First High Bandwidth Memory with AI Processing Power". Samsung newsroom. 17. veebruar 2021. Vaadatud 29. aprillil 2021.