Google's TPU neemt het op tegen Intel en NVIDIA voor de toekomst van Neural Networking

Google’s TPU neemt het op tegen Intel en NVIDIA voor de toekomst van Neural Networking

Google is op zoek naar een nieuwe manier om neurale netwerken efficiënt te laten werken – te beginnen met de TPU. De TPU is een Tensor Processing Unit – te vergelijken met Intel’s CPU of NVIDIA’s GPU, gemaakt voor het verwerken van gegevens. Het nieuws van Google hier is hun allereerste studie die ooit is gepubliceerd over hoe goed hun TPU werkt – in vergelijking, passend genoeg, met Intel’s CPU en NVIDIA’s GPU terwijl neuraal netwerken.

Een neuraal netwerk is een computersysteem met functionaliteit gebaseerd op die van het menselijk brein en zenuwstelsel. Neurale netwerken zijn bedoeld om computers te laten denken en redeneren, en uiteindelijk problemen op te lossen op manieren die voorheen alleen mogelijk waren met het menselijk brein. Google gebruikt neurale netwerken voor een breed scala aan toepassingen.

Als u ‘OK Google’ zegt, gevolgd door een vraag of verzoek, maakt gebruik van de neurale netwerkcomputertechnologie van Google. Google gebruikt neurale netwerken ook voor machine learning. Elke keer dat de computer een probleem oplost, wordt hij slimmer. Elke keer dat de gebruiker bevestigt dat de computer een probleem correct heeft opgelost, is de computer beter in staat antwoorden te vinden die correct zijn. Dit wordt Deep Learning genoemd.

Om het probleem van de toenemende vraag naar neurale netwerkcapaciteit op te lossen, werkte Google aan hun eigen Tensor Processing Unit (TPU). De TPU van Google verwerkt hardware – een toepassingsspecifiek geïntegreerd circuit (ASIC). Het doel van Google (vanaf het jaar 2013) was om de kostenprestaties voor neurale netwerken (in dit geval Deep Neural Networking) met 10x te verbeteren ten opzichte van GPU’s. Dit is volgens Google’s paper “In-Datacenter Performance Analysis of a Tensor Processing Unit”.

De TPU van Google wordt aangesloten op bestaande servers zoals een GPU dat doet met behulp van de PCIe I/O-bus. De TPU van Google is een coprocessor, een die niet strak is geïntegreerd met een CPU. Het ontwikkelingsteam van Google zegt dat, omdat de hostserver instructies naar de TPU stuurt in plaats van dat de TPU ze zelf ophaalt, de TPU “dichter bij een FPU (floating-point unit) coprocessor staat dan bij een GPU.”

In een gesprek met NextPlatform stelde Google-hardware-ingenieur Norman Jouppi voor dat Google naar field-programmable gate arrays (FPGA’s) zou kijken voordat ze een beslissing namen over ASIC-eenheden. Hoewel FPGA’s eenvoudig aan te passen zijn, presteren ze niet zo goed als ASIC’s. Google’s TPU lijkt het beste van twee werelden te zijn. “De TPU is programmeerbaar als een CPU of GPU”, zegt Jouppi. “Het is niet ontworpen voor slechts één neuraal netwerkmodel; het voert CISC-instructies uit op veel netwerken (convolutionele, LSTM-modellen en grote, volledig verbonden modellen). Het is dus nog steeds programmeerbaar, maar gebruikt een matrix als primitief in plaats van een vector of scalair.”

Google’s keuzes in hardware zijn niet gemaakt om de meest efficiënte of krachtige TPU mogelijk te maken. In plaats daarvan moesten Google’s keuzes in hardware implementatie op grote schaal mogelijk maken. “Het moet worden gedistribueerd – als je een gesproken zoekopdracht uitvoert op je telefoon in Singapore, moet het in dat datacenter gebeuren – iets goedkoops en weinig stroom nodig”, zei Jouppi. “Naar zoiets als HBM (High Bandwidth Memory) gaan voor een inferentiechip is misschien een beetje extreem, maar voor training is het een ander verhaal.”

Uit het hierboven gelinkte artikel blijkt uit de benchmarks van Google dat de TPU-oplossing van Google veel beter presteerde dan vergelijkbare Intel Haswell CPU-architectuur met minder stroom. Hun tests toonden aan dat hun TPU-proces 92 TOPS (71x meer doorvoer dan Intel’s CPU op gevolgtrekkingen) in een 384 watt thermische envelop voor de server terwijl hij bezig was. De Intel Haswell CPU verwerkte 2.6 TOPS met een thermische envelop van 455 watt terwijl hij bezig was.

Dit is waar Google’s intrede in dit neurale netwerkverwerkingshardware-universum begint. De TPU van Google zal de komende jaren veel meer aandacht krijgen – en publiciteit – als hun efficiëntie de top blijft bereiken, zoals in dit eerste benchmarkonderzoek.

Verhaal tijdlijn

Leave a Reply

Your email address will not be published. Required fields are marked *