Нейронны працэсар

Нейронны працэсар (англ.: Neural Processing Unit, NPU або ШІ-паскаральнік англ.: AI accelerator)- гэта спецыялізаваны клас мікрапрацэсараў і супрацэсараў  (руск.) (якія часта з’яўляюцца спецыялізаванай інтэгральнай схемай  (руск.)), які выкарыстоўваецца для апаратнага паскарэння  (руск.) працы алгарытмаў штучных нейронных сетак  (руск.), камп’ютарнага зроку, распазнавання па голасе  (руск.), машыннага навучання і іншых метадаў штучнага інтэлекту.

Апісанне

Нейронныя працэсары ставяцца да вылічальнай тэхнікі і выкарыстоўваюцца для апаратнага паскарэння  (руск.) эмуляцыі работы нейронных сетак  (руск.) і лічбавай апрацоўкі сігналаў  (руск.) у рэжыме рэальнага часу  (руск.). Як правіла, нейрапрацэсар утрымлівае рэгістр  (руск.), блокі памяці  (руск.) магазіннага тыпу, камутатар  (руск.) і вылічальная прылада, якая змяшчае матрыцу множання, дэшыфратары  (руск.), трыгеры і мультыплексары  (руск.)^[1].

На сучасным этапе (па стане на 2017 год) да класа нейронных працэсараў могуць ставіцца розныя па будове і спецыялізацыі тыпы чыпаў, напрыклад:

• Нейраморфныя працэсары — пабудаваныя па кластарнай  (руск.) асінхроннай  (руск.) архітэктуры, распрацаванай у Карнельскім універсітэце (прынцыпова адрознай ад фон Нэйманаўскай і Гарвардскай  (руск.) камп’ютарных архітэктур, якія выкарыстоўваюцца апошнія 70 гадоў у IT-галіне). У адрозненне ад традыцыйных вылічальных архітэктур, логіка нейраморфных працэсараў першапачаткова вузкаспецыялізаваная для стварэння і распрацоўкі розных відаў штучных нейронных сетак  (руск.). У будове выкарыстоўваюцца звычайныя транзістары, з якіх будуюцца вылічальныя ядры  (руск.) (кожнае ядро, як правіла, змяшчае планавальнік заданняў, уласную памяць тыпу SRAM  (руск.) і маршрутызатар для сувязі з іншымі ядрамі), кожнае з ядраў эмулюе працу некалькіх сотняў нейронаў і, такім чынам, адна інтэгральная схема, якая змяшчае некалькі тысяч такіх ядраў, алгарытмічна можа ўзнавіць масіў з некалькіх сотняў тысяч нейронаў і на парадак больш сінапсаў. Як правіла, такія працэсары ўжываюцца для алгарытмаў глыбокага машыннага навучання^[2].
• Тэнзарныя працэсары  (руск.) — прылады, як правіла, з’яўляюцца супрацэсарамі  (руск.), якія кіруюцца цэнтральным працэсарам, што аперуюць тэнзарамі  (руск.) — аб’ектамі, якія апісваюць пераўтварэнні элементаў адной лінейнай прасторы ў іншую і могуць быць прадстаўлены як шматмерныя масівы лікаў^[3], апрацоўка якіх ажыццяўляецца з дапамогай такіх праграмных бібліятэк, як, напрыклад, TensorFlow  (руск.). Яны, як правіла, абсталёўваюцца уласнай убудаванай аператыўнай памяццю і аперуюць нізкаразраднымі (8-бітнымі) лікамі, і вузкаспецыялізаваныя для выканання такіх аперацый, як матрычнае множанне і згортка  (руск.), выкарыстоўваная для эмуляцыі згорткавых нейронных сетак  (руск.), якія выкарыстоўваюцца для задач машыннага навучання^[4].
• Працэсары машыннага зроку  (руск.) — шмат у чым падобныя на тэнзарныя працэсары, але яны вузкаспецыялізаваныя для паскарэння працы алгарытмаў машыннага зроку  (руск.), у якіх выкарыстоўваюцца метады згорткавых нейронных сетак  (руск.) (CNN) і маштабна-інварыянтнай трансфармацыя прыкмет  (руск.) (SIFT). У іх робіцца вялікі акцэнт на распаралельванне патоку дадзеных паміж мноствам выканаўчых ядраў  (руск.), уключаючы выкарыстанне мадэлі блакнотнай памяці  (англ.) — як у шмат'ядравых  (руск.) лічбавых сігнальных працэсараў  (руск.), і яны гэтак жа, як тэнзарныя працэсары, выкарыстоўваюцца для вылічэнняў з нізкай дакладнасцю, прынятай пры апрацоўцы выяў  (руск.)^[5].

Вобласць прымянення

Nvidia Drive PX-series  (англ.).

• Беспілотны аўтамабіль  (руск.) — напрыклад, у гэтым кірунку развівае свае платы Drive PX-series  (англ.) кампанія Nvidia.
• Беспілотны лятальны апарат — напрыклад, навігацыйная сістэма заснаваная на чыпах Movidius Myriad 2  (англ.) паспяхова кіруе аўтаномнымі беспілотнымі лятальнымі апаратамі.
• Дыягностыка ў ахове здароўя.
• Машынны пераклад.
• Апрацоўка натуральнай мовы.
• Пошукавая сістэма — NPU павышаюць энергаэфектыўнасць  (руск.) цэнтраў апрацоўкі дадзеных  (руск.), і даюць магчымасць выкарыстоўваць усё больш складаныя запыты.
• Прамысловы робат — NPU дазваляюць пашырыць спектр задач, якія магчыма аўтаматызаваць, шляхам дадання прыстасоўвальнасці да зменлівых сітуацый
• Распазнаванне па голасе  (руск.) — напрыклад, у мабільных тэлефонах выкарыстанне тэхналогіі Qualcomm Zeroth  (англ.)
• Сельскагаспадарчы робат  (руск.) — напрыклад, барацьба з пустазеллем без прымянення хімічных сродкаў.

Прыклады

Існуючыя прадукты

16-ядзерны чып Adapteva Epiphany (E16G301) на однаплатным камп’ютары для паралельных вылічэнняў  (руск.).

• Працэсары машыннага зроку  (руск.):
  • Intel Movidius Myriad 2  (англ.), які з’яўляецца шматядравым  (руск.) ШІ-паскаральнікам, заснаваным на VLIW  (руск.)-архітэктуры, з дапоўненымі вузламі, прызначанымі для апрацоўкі відэа.
  • Mobileye EyeQ  (англ.) — гэта спецыялізаваны працэсар, які паскарае апрацоўку алгарытмаў машыннага гледжання для выкарыстання ў беспілотным аўтамабілі.
• Тэнзарныя працэсы  (руск.):
  • Google TPU  (руск.) (англ.: Tensor Processing Unit) — прадстаўлены як паскаральнік для сістэмы Google TensorFlow  (руск.), якая шырока ўжываецца для згорткавых нейронных сетак. Сфакусаваны на вялікім аб’ёме арыфметыкі 8-бітнай дакладнасці.
  • Huawei Ascend 310/Ascend 910 — першыя два чыпы аптымізаваныя пад рашэнні задач штучнага інтэлекту з лінейкі Ascend кампаніі Huawei^[6].
  • Intel Nervana NNP  (англ.) (англ.: Neural Network Processor) — гэта першы камерцыйна даступны тэнзарны працэсар, прызначаны для пабудовы сетак глыбокага навучання, кампанія Facebook была партнёрам у працэсе яго праектавання^[7][8]. Qualcomm  (руск.) Cloud AI 100 — паскаральнік штучнага інтэлекту, прызначаны для выкарыстання ў складзе хмарных платформаў, які падтрымлівае праграмныя бібліятэкі PyTorch  (руск.), Glow  (руск.), TensorFlow  (руск.), Keras  (руск.) і ONNX  (руск.)^[9].
• Нейраморфныя працэсары:
  • IBM TrueNorth  (руск.) — нейраморфны працэсар, пабудаваны па прынцыпе ўзаемадзеяння нейронаў, а не традыцыйнай арыфметыкі. Частата імпульсаў прадстаўляе інтэнсіўнасць сігналу. Па стане на 2016 год сярод даследчыкаў ШІ няма кансенсусу, ці з’яўляецца гэта правільным шляхам для прасоўвання, але некаторыя вынікі з’яўляюцца шматабяцальнымі, з прадэманстраванай вялікай эканоміяй энергіі для задач машыннага зроку.
• Adapteva Epiphany  (англ.) — прызначаны як супрацэсар, уключае мадэль блакнотнай памяці  (англ.) сеткі на крышталі  (англ.), падыходзіць да мадэлі праграмавання патокам інфармацыі, якая павінна падыходзіць для многіх задач машыннага навучання.
• ComBox x64 Movidius PCIe Blade board — плата пашырэння PCI Express  (руск.) з максімальнай шчыльнасцю VPU Intel Movidius (MyriadX) для інферэнса звышдакладных нейронавых сетак у ЦАД
• Cambricon  (англ.) Mlu100 — карта пашырэння PCI Express з ШІ-працэсарам магутнасцю 64 TFLOPS з палавіннай дакладнасцю або 128 TOPS для вылічэнняў INT8.
• Cerebras Wafer Scale Engine  (руск.) (WSE, CS-1) — эксперыментальны суперпрацэсар кампаніі Cerebras  (руск.), змяшчае 1,2 трлн транзістараў, арганізаваных у 400 000 ШІ-аптымізаваных вылічальных ядраў і 18 Гбайт лакальнай размеркаванай памяці SRAM  (руск.) і ўсё гэта звязана ячэістай сеткай з агульнай прадукцыйнасцю 100 петабіт у секунду. Чып Cerebras ― гэта фактычна суперкамп’ютар на чыпе, дзе вылічальныя ядры SLAC (Sparse Linear Algebra Cores) ― цалкам праграмуемыя і могуць быць аптымізаваныя для працы з любымі нейроннымі сеткамі.
• KnuPath  (англ.) — працэсар кампаніі KnuEdge  (англ.), прызначаны для працы ў сістэмах распазнання маўлення і іншых галінах машыннага навучання, ён выкарыстоўвае злучальную тэхналогію LambdaFabric і дазваляе аб’ядноўваць у адзіную сістэму да 512 тысяч працэсараў.

GPU-прадукты

Nvidia Tesla  (руск.) C870.

• Nvidia Tesla  (руск.) — серыя спецыялізаваных GPGPU  (руск.)-прадуктаў кампаніі Nvidia^[10]:
  • Nvidia Volta  (англ.) — графічныя працэсары  (руск.) (GPU) архітэктуры Volta (2017 год) кампаніі Nvidia (такія як Volta GV100), утрымліваюць да 640 спецыяльных ядраў для тэнзарных вылічэнняў^[11].
  • Nvidia Turing  (англ.) — графічныя працэсары архітэктуры Turing (2018 год) кампаніі Nvidia (такія як NVIDIA TU104), утрымліваюць да 576 спецыяльных ядраў для тэнзарных вылічэнняў^[12].
  • Nvidia DGX-1  (англ.) — спецыялізаваны сервер, які складаецца з 2 цэнтральных працэсараў і 8 GPU Nvidia Volta GV100  (англ.) (5120 тэнзарных ядраў), звязаных праз хуткую шыну NVLink^[13]. Спецыялізаваная архітэктура памяці  (англ.) ў гэтай сістэмы з’яўляецца асабліва прыдатнай для пабудовы сетак глыбокага навучання  (руск.)^[14][15].
• AMD Radeon Instinct  (англ.) — спецыялізаваная GPGPU  (руск.) — плата кампаніі AMD, прапанаваная як паскаральнік для задач глыбокага навучання^[16][17].

ШІ-паскаральнікі ў выглядзе ўнутраных супрацэсараў (апаратных ШІ-блокаў)

6-ядзерны SoC  (руск.) Apple A11 Bionic  (руск.) з Neural Engine  (руск.)

• Cambricon-1A — NPU-блок у ARM  (руск.)-чыпах Huawei Kirin 970, распрацаваны кампаніяй Cambricon Technologies  (англ.).
• CEVA  (англ.) NeuPro — сямейства ліцэнзуемых ШІ-працэсараў для глыбокага навучання кампаніі CEVA, Inc.  (англ.).
• Neural Engine  (руск.) — ІІ-паскаральнік ўнутры ARM-чыпаў Apple A11 Bionic  (руск.) і A12 Bionic  (руск.) SoC  (руск.)^[18].
• PowerVR  (руск.) 2nx NNA (Neural Network Accelerator) — сямейства ліцэнзуемых IP-модуляў для машыннага навучання кампаніі Imagination Technologies  (руск.)^[19].

Навуковыя даследаванні і прадукты, якія распрацоўваюцца

• Індыйскі тэхналагічны інстытут у Мадрасе  (руск.) распрацоўвае паскаральнік на імпульсных нейронах для новых сістэм архітэктуры RISC-V  (руск.), накіраваных на апрацоўку вялікіх даных на серверных сістэмах.
• Eyeriss  (англ.) — распрацоўка, накіравана на згорткавыя нейронныя сеткі  (руск.) з ужываннем блакнотнай памяці і сеткавай архітэктуры ў межах крышталя.
• Fujitsu DLU  (англ.) — шматблочны і шмат’ядравы супрацэсар кампаніі Fujitsu  (руск.) які выкарыстоўвае вылічэнні з нізкай дакладнасцю і прызначаны для глыбокага машыннага навучання.
• Intel Loihi  (англ.) — нейраморфны працэсар кампаніі Intel, які спалучае працэсы навучання, трэніроўкі і прыняцця рашэнняў у адным чыпе, дазваляючы сістэме быць аўтаномнай і «кемлівай» без падлучэння да воблака  (руск.). Напрыклад, пры навучанні з дапамогай базы дадзеных MNIST (Mixed National Institute of Standards and Technology) працэсар Loihi аказваецца ў 1 млн разоў лепш, чым іншыя тыповыя спайкавыя нейронныя сеткі.
• Kalray  (англ.) — паказала MPPA  (англ.) і паведаміла аб павышэнні эфектыўнасці згорткавых нейронных сетак у параўнанні з GPU  (руск.).
• SpiNNaker — масава-паралельная  (руск.) камп’ютарная архітэктура, якая спалучае ядры традыцыйнай ARM-архітэктуры  (руск.) з удасканаленай сеткавай структурай, спецыялізаванай для мадэлявання буйной нейроннай сеткі.
• Zeroth NPU  (англ.) — распрацоўка кампаніі Qualcomm, накіраваная непасрэдна на прыўнясенне магчымасцей распазнання размовы і малюнкаў у мабільныя прылады.
• IVA TPU — тэнзарны працэсар, над стварэннем якога працуе расійская кампанія Iva Technologies. У кастрычніку 2020 года былі апублікаваныя вынікі тэставання архітэктуры паскаральніка разліку нейронных сетак IVA TPU, праведзенага міжнародным кансорцыумам MLPerf (заснаваны ў 2018 годзе Baidu, Google, Harvard University, Stanford University, University of California, Berkeley).

Зноскі

1. Нейропроцессор, устройство для вычисления функций насыщения, вычислительное устройство и сумматор (руск.). FindPatent.RU. Архівавана з першакрыніцы 1 снежня 2017. Праверана 17 лістапада 2017.
2. IBM поставила LLNL нейропроцессоры TrueNorth за $1 млн (руск.). Компьютерра. (31 марта 2016). Архівавана з першакрыніцы 19 лістапада 2017. Праверана 17 лістапада 2017.
3. Intel разрабатывает тензорные процессоры для ИИ (руск.). PC Week/RE. (22 ноября 2016). Архівавана з першакрыніцы 1 снежня 2017. Праверана 17 лістапада 2017.
4. Подробности о тензорном сопроцессоре Google TPU (руск.). Servernews. (25 августа 2017). Архівавана з першакрыніцы 17 лістапада 2017. Праверана 17 лістапада 2017.
5. Intel анонсировала процессор машинного зрения Movidius Myriad X (руск.). 3DNews. (29 августа 2017). Архівавана з першакрыніцы 17 лістапада 2017. Праверана 17 лістапада 2017.
6. "Huawei создала первые в мире ИИ-процессоры, пойдя по пути разработчиков «Эльбрусов»". 23 октября 2018. Праверана 2018-10-24. {{cite news}}: Праверце значэнне даты ў: |date= (даведка)
7. "Intel unveils purpose-built Neural Network Processor for deep learning". Tech Report. 17 октября 2017. Праверана 2017-11-17. {{cite news}}: Праверце значэнне даты ў: |date= (даведка)
8. "Intel Nervana Neural Network Processors (NNP) Redefine AI Silicon". 17 октября 2017. Архівавана з арыгінала 20 кастрычніка 2017. Праверана 2017-11-17. {{cite news}}: Праверце значэнне даты ў: |date= (даведка) Архіўная копія (нявызн.)(недаступная спасылка). Архівавана з першакрыніцы 20 кастрычніка 2017. Праверана 26 лютага 2023.Архіўная копія (нявызн.)(недаступная спасылка). Архівавана з першакрыніцы 20 кастрычніка 2017. Праверана 26 лютага 2023.
9. "Qualcomm представила ускоритель искусственного интеллекта Cloud AI 100". 10 апреля 2019. Праверана 2019-4-16. {{cite news}}: Праверце значэнне даты ў: |accessdate= і |date= (даведка)
10. Computex: Глава Nvidia не видит угрозы в «тензорном» процессоре Google (нявызн.). «Открытые системы». (1 июня 2016). Архівавана з першакрыніцы 1 снежня 2017. Праверана 17 лістапада 2017.
11. Популярность машинного обучения влияет на эволюцию архитектуры процессоров (нявызн.). Servernews. (31 августа 2017). Архівавана з першакрыніцы 17 лістапада 2017. Праверана 17 лістапада 2017.
12. Что принесёт на рынок новая архитектура NVIDIA Turing? (нявызн.). 3DNews. (14 жніўня 2018). Архівавана з першакрыніцы 23 сакавіка 2019. Праверана 17 жніўня 2018.
13. Эра NVIDIA Volta началась с ускорителя Tesla V100 (нявызн.). Servernews. (11 мая 2017). Архівавана з першакрыніцы 1 снежня 2017. Праверана 17 лістапада 2017.
14. GTC Europe 2017: библиотека NVIDIA TensoRT 3 ускоряет работу нейросетей в 18 раз по сравнению с универсальным решением (нявызн.). Servernews. (12 октября 2017). Архівавана з першакрыніцы 17 лістапада 2017. Праверана 17 лістапада 2017.
15. Новый российский суперкомпьютер предназначен для обучения нейросетей (нявызн.). Servernews. (1 сентября 2017). Архівавана з першакрыніцы 17 лістапада 2017. Праверана 17 лістапада 2017.
16. "AMD Announces Radeon Instinct: GPU Accelerators for Deep Learning, Coming in 2017". Anandtech. 12 декабря 2016. Праверана 12 December 2016. {{cite news}}: Праверце значэнне даты ў: |date= (даведка)
17. "Radeon Instinct Machine Learning GPUs include Vega, Preview Performance". PC Per. 12 декабря 2016. Праверана 12 December 2016. {{cite news}}: Праверце значэнне даты ў: |date= (даведка)
18. "The iPhone X's new neural engine exemplifies Apple's approach to AI".
19. "Imagination представила новые ИИ-ускорители PowerVR 2NX".

Спасылкі

• Популярность машинного обучения влияет на эволюцию архитектуры процессоров (руск.). Servernews. (31 августа 2017). Праверана 17 лістапада 2017.