NVIDIA Jetson AGX Orin
Best AI performance of NVIDIA Jetson Family
Một bước nhảy vọt khổng lồ dành cho Robotics và Edge AI
Được trang bị 275 TOPS, 2048 NVIDIA® CUDA® cores, 64 Tensor Cores
Tại GTC 2021 và 2022, NVIDIA đã giới thiệu Jetson AGX Orin Module và Dev Kit, được trang bị GPU mới nhất và mạnh nhất cho đến nay trong NVIDIA Jetson Family. Jetson AGX Orin đã sẵn sàng cho các thiết bị và ứng dụng : Autonomous Machines, Robotics, Drones Working for Retail, Manufacturing, Transportation, AgTech, Smart City, Aerospace, ...
Thành viên mạnh mẽ nhất từ NVIDIA Jetson Family:
- NVIDIA Jetson AGX Orin dựa trên kiến trúc Ampere với 2048 lõi NVIDIA® CUDA® và 64 lõi Tensor.
- Bước nhảy vọt về kích thước cho Egde AI: Kích thước 100mm x 87mm và cùng khả năng tương thích chân cắm với NVIDIA Jetson AGX Xavier, mang đến hiệu suất AI gấp 8 lần so với NVIDIA Jetson AGX Xavier.
- Hỗ trợ các Deep Learning Models lớn và phức tạp để giải quyết các vấn đề như: Natural Language Understanding, 3D Perception, Multi-Sensor Fusion...
- Được hỗ trợ bởi NVIDIA JetPack ™ và các Software Platforms bao gồm: Isaac for Robotics, Clara for Healthcare, Metropolis for Smart Cities.
MLAB sẽ cập nhật các hướng dẫn, ứng dụng và hệ sinh thái xung quanh NVIDIA Jetson AGX Orin và tất cả các phiên bản NVIDIA Jetson Family!
NVIDIA Jetson AGX Orin: NVIDIA
THÔNG SỐ KỸ THUẬT
| NVIDIA JETSON AGX ORIN MODULE | |
| AI Performance | 275 TOPS (INT8) |
| GPU | NVIDIA Ampere architecture with 2048 NVIDIA® CUDA® cores and 64 Tensor Cores |
| Max GPU Freq | 1 GHz |
| CPU | 12-core Arm® Cortex®-A78AE v8.2 64-bit CPU 3MB L2 + 6MB L3 |
| CPU Max Freq | 2 GHz |
| DL Accelerator | 2x NVDLA v2.0 |
| Vision Accelerator | PVA v2.0 |
| Memory | 32GB 256-bit LPDDR5 204.8 GB/s |
| Storage | 64GB eMMC 5.1 |
| CSI Camera | Up to 6 cameras (16 via virtual channels*) 16 lanes MIPI CSI-2 D-PHY 1.2 (up to 40Gbps) | C-PHY 1.1 (up to 164Gbps) |
| Video Encode | 2x 4K60 | 4x 4K30 | 8x 1080p60 | 16x 1080p30 (H.265) |
| Video Decode | 1x 8K30 | 3x 4K60 | 6x 4K30 | 12x 1080p60| 24x 1080p30 (H.265) |
| UPHY | 2 x8 (or 1×8 + 2×4), 1 x4, 2 x1 (PCIe Gen4, Root Port & Endpoint) 3x USB 3.2 Single lane UFS |
| Networking | 1x GbE 4x 10GbE |
| Display | 1x 8K60 multi-mode DP 1.4a (+MST)/eDP 1.4a/HDMI 2.1 |
| Other I/O | 4x USB 2.0 4x UART, 3x SPI, 4x I2S, 8x I2C, 2x CAN, DMIC & DSPK, GPIOs |
| Power | 15W | 30W | 50W |
| Mechanical | 100mm x 87mm 699-pin Molex Mirror Mezz Connector Integrated Thermal Transfer Plate |
***Reference: NVIDIA, *Virtual Channel-related camera information for NVIDIA Jetson AGX Orin is not final and subject to change.
REFERENCE CARRIER BOARD | |
| Camera | 16-lane MIPI CSI-2 connector |
| PCIe | x16 PCIe slot: Lower x8 PCIe Gen4 |
| RJ45 | Up to 10 GbE |
| M.2 Key M | x4 PCIe Gen 4 |
| M.2 Key E | x1 PCIe Gen 4, USB 2.0, UART, I2S |
| USB Type-C | 2x USB 3.2 Gen2 with USB-PD support |
| USB Type-A | 4x USB 3.2 Gen2 |
| USB Micro-B | USB 2.0 |
| DisplayPort | DisplayPort 1.4a (+MST) |
| microSD slot | UHS-1 cards up to SDR104 mode |
| Other | 40-pin header (I2C, GPIO, SPI, CAN, I2S, UART, DMIC) 12-pin automation header 10-pin audio panel header 10-pin JTAG header 4-pin fan header 2-pin RTC battery backup connector DC power jack Power, Force Recovery, and Reset buttons |
| Dimensions | 110mm x 110mm x 71.65mm (Height includes feet, carrier board, module, and thermal solution) |
***We recommend you check the technical brief to learn more about the new NVIDIA Jetson AGX Orin Module.
NVIDIA Jetson AGX Orin Hardware Layout and GPIO Expansion Header Pinout ( LINK HERE )
Bắt đầu với Jetson Software và các công cụ Machine Learning cần thiết
NVIDIA Jetson Platform bao gồm tất cả các công cụ Machine Learning cần thiết để đẩy nhanh các sản phẩm AI của bạn ra thị trường. Ở cơ sở của Software Stack, NVIDIA JetPack SDK bao gồm Board Support Package (BSP), với boot loader, Linux kernel, drivers, toolchains, and a reference file system based on Ubuntu.
NVIDIA Jetson Software bao gồm NVIDIA JetPack SDK, TAO & Pretrained AI Models from the NVIDIA NGC™ catalog, Triton Inference Server, NVIDIA Riva, DeepStream SDK, and NVIDIA Isaac. Bạn có thể xem tại Jetson Software website để có giải thích chi tiết hơn trước khi bắt tay vào triển khai thực tế với NVIDIA Jetson AGX Orin.
NVIDIA Jetson Software cũng hỗ trợ Containers và Container Orchestration, giúp sử tận dụng được Cloud-Native ( Điện toán đám mây) cho các dự án về Edge AI. NVIDIA JetPack bao gồm NVIDIA Container Runtime với tích hợp Docker, cho phép các ứng dụng được Container tăng tốc GPU trên nền tảng NVIDIA Jetson. Với NVIDIA Triton ™ Inference Server, bạn cũng có thể đơn giản hóa việc triển khai các Model để triển khai AI trên quy mô lớn.
Jetson Software Ecosystem : NVIDIA
Tăng tốc độ suy luận trên GPU sử dụng NVIDIA TensorRT và cuDNN
NVIDIA® TensorRT ™ là một SDK High-Performance Deep Learning Inference. Nó bao gồm một trình Tối ưu suy luận học sâu (Deep Learning Inference Optimizer) và Thời gian chạy mang lại độ trễ thấp và thông lượng cao cho các ứng dụng suy luận học sâu (Deep Learning Inference).
Với TensorRT, các nhà phát triển có thể tập trung vào việc tạo ra các ứng dụng mới dựa trên AI hơn là điều chỉnh hiệu suất để triển khai các suy luận (Inference Deployment).
NVIDIA: TensorRT
cuDNN (CUDA Deep Neural Network Library) là một thư viện tăng tốc được phát triển bởi NVIDIA cho các mạng thần kinh sâu (Deep Neural Networks). Nó là một thư viện tăng tốc GPU cho các Deep Neural Networks. cuDNN cho phép tăng tốc GPU hiệu suất cao tập trung vào việc đào tạo mạng Neural và phát triển các ứng dụng phần mềm.
NVIDIA: cuDNN Accelerated Frameworks
Deep Learning Accelerator(DLA) trên NVIDIA Jetson AGX Orin
Nếu bạn là một nhà phát triển Jetson hoạt động tích cực, bạn biết rằng một trong những lợi ích chính của NVIDIA Jetson là nó kết hợp CPU và GPU vào một Module duy nhất, cung cấp cho bạn NVIDIA Software Stack có thể mở rộng trong một thiết bị nhỏ gọn với mức tiêu thụ năng lượng thấp có thể được triển khai Edge AI.
NVIDIA Jetson cũng có nhiều bộ xử lý khác, bao gồm: Bộ mã hóa và giải mã tốc độ phần cứng (Hardware Accelerated Encoders và Decoders), Bộ xử lý tín hiệu hình ảnh (Image Signal Processor), Bộ tăng tốc học sâu - Deep Learning Accelerator (DLA).
DLA có sẵn trên các Module NVIDIA Jetson AGX Xavier, Xavier NX, Jetson AGX Orin và Jetson Orin NX. Các nền tảng dựa trên NVIDIA DRIVE Xavier và Orin gần đây cũng có lõi DLA.
Cách sử dụng Deep Learning Accelerator
A coarse architecture diagram highlighting the Deep Learning Accelerators on Jetson Orin
Để sử dụng DLA, trước tiên bạn cần đào tạo Model của mình bằng một Deep Learning Framework như PyTorch hoặc TensorFlow. Tiếp theo, bạn cần nhập và tối ưu hóa Model của mình với NVIDIA TensorRT. TensorRT chịu trách nhiệm tạo ra các công cụ DLA và cũng có thể được sử dụng như một Runtime để thực thi chúng. Cuối cùng, bạn nên cấu hình chế độ của mình và thực hiện tối ưu hóa nếu có thể để tối đa hóa khả năng tương thích của DLA. Tham khảo thêm (LINK HERE)
New Jetpack 5.0 and 5.0.1
Theo lộ trình NVIDIA Jetson Software, JetPack 5.0 and 5.01 nền tảng sẽ là Ubuntu 20.04, hỗ trợ các Module Orin và Jetson Xavier ( LINK HERE )
CÁC ỨNG DỤNG CỦA NVIDIA JETSON AGX ORIN
Với NVIDIA Jetson AGX Orin Module có sức mạnh xử lý AI 275 TOPS (gấp khoảng 8 lần so với AGX Xavier), các nhà phát triển có thể Deploy Machine Learning Models để giải quyết những thách thức khắt khe trong các ứng dụng Edge AI cho: Sản Xuất (Manufacturing), Logistics, Bán Lẻ (Retail), Dịch Vụ (Service), Nông Nghiệp (Agriculture), Thành phố Thông Minh (Smart City), Chăm Sóc Sức Khỏe (Healthcare) và Khoa Học Đời Sống (Life Science)
XE TỰ LÁI (Autonomous driving vehicles)
Robotics, chẳng hạn như trong các phương tiện Xe Tự Lái “real-time critical” trong môi trường doanh nghiệp thường cần phản hồi trong vòng một phần nghìn giây và chỉ có thể thực hiện được với nhiều TOPS. Có sáu cấp độ Ô TÔ Tự Lái - L0 (Không tự động hóa), L1 (Hỗ trợ người lái), L2 (Tự động hóa một phần), L3 (Tự động hóa có điều kiện), L4 (Tự động hóa cao) và L5 (Tự động hóa hoàn toàn) và sức mạnh tính toán yêu cầu đối với mỗi cấp độ của Xe Tự Lái sẽ ít hơn 10 TOPS đối với L2, 30 đến 60 TOPS đối với L3, hơn 100 TOPS đối với L4 và dự đoán khoảng 1.000 TOPS đối với L5. Tham khảo (LINK HERE)
BÁN LẺ (Retail)
Sử dụng khả năng Machine Learning có trên NVIDIA Jetson Platform, có thể cải thiện độ chính xác của dự báo để quản lý hàng tồn kho. Điều này tác động đáng kể đến việc tối ưu chuỗi cung ứng. Các thuật toán Machine Learning có thể được đào tạo nhanh hơn với thư viện Data Processing và Machine Learning mã nguồn mở NVIDIA'S RAPIDS, cho phép các nhà bán lẻ dự báo nhu cầu sản phẩm cho cửa hàng của họ hiệu quả và bổ sung phù hợp theo xu hướng của người mua sắm. Điều này giúp tiết kiệm chi phí hàng tồn kho theo quy mô. Tham khảo ( LINK HERE )
SẢN XUẤT (Manufacturing)
Các nhà máy sản xuất đang tận dụng các Logistics Robots chạy trên Software Platform Architecture NVIDIA’s open Isaac robotics để tự động hóa khả năng sản xuất. Với các Logistics Robots tiên tiến, điều này cho phép vận chuyển vật liệu một cách tự động, trong khi các Robot thao tác chọn và tổ chức các bộ phận.
GIAO THÔNG (Traffic)
Quy trình phát triển AI có thể được tăng tốc với bộ dữ liệu lưu lượng phương tiện được thu thập hiện có với mô hình TrafficCamNet được đào tạo trước từ NGC và Bộ công cụ NVIDIA TAO trên NVIDIA Jetson Edge AI Platform. Điều này đã giúp cắt giảm thời gian phát triển xuống chỉ còn vài tuần, cung cấp một giải pháp giao thông an toàn cho thành phố tự động phát hiện, đếm và đo tốc độ cũng như theo dõi người đi bộ, xe đạp và phương tiện lưu thông.
CHĂM SÓC SỨC KHỎE (Healthcare)
Việc phát triển và triển khai các cảm biến thông minh với Multimodal AI có thể được tăng tốc với NVIDIA Clara™ Guardian, một Application Framework và Partner Ecosystem. Clara Guardian cung cấp thông tin chi tiết theo thời gian thực để đảm bảo an toàn thông qua khả năng điều chỉnh khoảng cách xã hội, sàng lọc cơn sốt, phát hiện đồ bảo hộ và theo dõi bệnh nhân có nguy cơ cao thông qua kết hợp phân tích video thông minh và khả năng trò chuyện của AI. Tham khảo (LINK HERE)
NVIDIA Clara Guardian : NVIDIA
Như vậy hôm nay mình và các bạn đã cùng nhau tìm hiểu về NVIDIA Jetson AGX Orin - Best AI performance of NVIDIA Jetson Family. (LINK HERE)
Nếu các bạn có bất kỳ ý tưởng mới cũng như đóng góp nào đừng ngần ngại mà hãy inbox trực tiếp cho fanpage . Xin chào và hẹn gặp lại các bạn trong các bài viết tiếp theo !!!
