Edge TPU được thiết kế để làm các công việc như “suy luận“. Đây là một phần công việc trong máy học khi một thuật toán thực sự thực hiện tác vụ mà nó được huấn luyện, ví dụ như, nhận biết một đối tượng trong một bức tranh. Các chip TPU dành cho máy chủ của Google được tối ưu cho phần huấn luyện của quá trình này, trong khi những chip Edge TPU mới sẽ làm công việc suy luận.
Chip TPU tí hon mới ra mắt của Google.
Những con chip mới này sẽ được sử dụng trong nhiều công việc của doanh nghiệp, nên bạn cũng đừng hy vọng nó sẽ xuất hiện trên smartphone của mình. Điều đó có nghĩa là các công việc như kiểm tra giám sát chất lượng tự động trong các nhà máy.Thực hiện các công việc này ngay trên thiết bị có một số ưu thế so với việc dùng phần cứng để gửi dữ liệu qua internet để phân tích. Xử lý máy học ngay trên thiết bị thường sẽ bảo mật hơn, giảm được thời gian chết, và đưa ra kết quả nhanh hơn. Đó là một điểm cộng không thể bỏ qua. Cho dù vậy, Google không phải là công ty thiết kế chip AI duy nhất tiếp cận theo hướng xử lý tác vụ AI ngay trên thiết bị. ARM, Qualcomm, Mediatek và các công ty khác cũng đang tạo ra những bộ tăng tốc AI của riêng họ, trong khi các GPU do Nvidia tạo ra đang thống trị thị trường với nổi tiếng với các thuật toán huấn luyện.Tuy nhiên, điều các đối thủ của Google không có là khả năng kiểm soát toàn bộ hệ sinh thái AI. Khách hàng có thể lưu trữ dữ liệu của họ trên Google Cloud, huấn luyện thuật toán của họ bằng TPU, và sau đó thực hiện việc suy luận ngay trên thiết bị bằng chip Edge TPU mới. Và nhiều khả năng, họ sẽ có thể tạo ra phần mềm máy học của mình nhờ sử dụng Tensor Flow – một nền tảng code do Google tạo ra và vận hành. Mô hình tích hợp theo chiều dọc này mang lại các lợi ích rõ ràng. Google có thể đảm bảo rằng tất cả các phần khác nhau của cả chuỗi này có thể vận hành như một thể thống nhất, hiệu quả và trôi chảy, để khách hàng dễ sử dụng và ở lại lâu hơn trong hệ sinh thái của họ.
Bộ Tensor Processing Unit, được xem như người anh lớn của Edge TPU.
Trong một bài đăng trên blog, phó chủ tịch về IoT của Google Cloud, Injong Rhee, mô tả phần cứng mới như một “chip ASIC chuyên dụng được thiết kế để chạy các mô hình máy học TensorFlow Lite theo cách tối ưu.”Rhee cho biết: “Các Edge TPU được thiết kế để thực thi yêu cầu từ Cloud TPU của chúng tôi, vì vậy, bạn có thể tăng tốc việc huấn luyện máy học trên đám mây, sau đó thực hiện suy luận máy học gần như tức thời. Các cảm biến của bạn sẽ nhiều hơn chỉ là những bộ thu thập dữ liệu – chúng có thể ra các quyết định thông minh tại chỗ, theo thời gian thực.” Điều thú vị là Google cũng đang biến Edge TPU thành một bộ kit phát triển, điều này sẽ giúp khách hàng dễ dàng thử nghiệm năng lực phần cứng và xem nó có thể phù hợp với sản phẩm của mình hay không.Bộ kit phát triển này bao gồm một hệ thống trên module (SoM: System on Module) chứa cả chip Edge TPU, một NXP CPU, một bộ phận bảo mật Microchip, và chức năng Wi-fi. Nó có thể kết nối tới một máy tính và máy chủ qua USB hoặc khe cắm mở rộng PCI Express. Cho dù vậy, hiện các bộ kit phát triển này chỉ có mặt ở dạng beta, và các khách hàng tiềm năng sẽ phải đăng ký để được truy cập. Đây dường như chỉ là một điều thường thấy ở các công ty khác, nhưng với Google thì lại rất đáng chú ý khi họ không mấy khi để công chúng tiếp cận tới phần cứng AI của mình. Tuy nhiên, nếu công ty muốn khách hàng chấp nhận công nghệ của họ, họ cần đảm bảo rằng khách hàng có thể dùng thử nó trước, thay vì yêu cầu họ đặt niềm tin vào hệ sinh thái AI của Google. Bước phát triển này không phải là mồi nhử của công ty – nó là một dấu hiệu cho thấy Google đang rất nghiêm túc về việc sở hữu toàn bộ hệ sinh thái AI này.Tham khảo The Verge