CÔNG TY TNHH MLAB
  • Tìm kiếm nhiều:
  • AI Computer
  • Raspberry Pi
  • NVIDIA Jetson
  • Máy tính nhúng
  • Màn hình LCD ....

NVIDIA Jetson AGX Orin hiệu suất AI mạnh nhất của NVIDIA Jetson Family với 275 TOPS, 2048 NVIDIA® CUDA® cores, 64 Tensor Cores

Tại GTC 2021 và 2022, NVIDIA đã giới thiệu Jetson AGX Orin ModuleDev Kit, được trang bị GPU mới nhất và mạnh nhất cho đến nay trong NVIDIA Jetson Family (GPU 275 TOPS, 2048 NVIDIA® CUDA® cores, 64 Tensor Cores)

NVIDIA Jetson AGX Orin

Best AI performance of NVIDIA Jetson Family 

Một bước nhảy vọt khổng lồ dành cho RoboticsEdge AI 

Được trang bị 275 TOPS, 2048 NVIDIA® CUDA® cores, 64 Tensor Cores

Tại GTC 20212022, NVIDIA đã giới thiệu Jetson AGX Orin ModuleDev Kit, được trang bị GPU mới nhất và mạnh nhất cho đến nay trong NVIDIA Jetson Family. Jetson AGX Orin đã sẵn sàng cho các thiết bị và ứng dụng : Autonomous Machines, Robotics, Drones Working for Retail, Manufacturing, Transportation, AgTech, Smart City, Aerospace, ...

Thành viên mạnh mẽ nhất từ ​​NVIDIA Jetson Family:

- NVIDIA Jetson AGX Orin dựa trên kiến ​​trúc Ampere với 2048 lõi NVIDIA® CUDA®64 lõi Tensor. 

- Bước nhảy vọt về kích thước cho Egde AI: Kích thước 100mm x 87mm và cùng khả năng tương thích chân cắm với NVIDIA Jetson AGX Xavier, mang đến hiệu suất AI gấp 8 lần so với NVIDIA Jetson AGX Xavier.

- Hỗ trợ các Deep Learning Models lớn và phức tạp để giải quyết các vấn đề như: Natural Language Understanding, 3D Perception, Multi-Sensor Fusion...

- Được hỗ trợ bởi NVIDIA JetPack ™ và các Software Platforms bao gồm: Isaac for Robotics, Clara for Healthcare, Metropolis for Smart Cities.

MLAB sẽ cập nhật các hướng dẫn, ứng dụng và hệ sinh thái xung quanh NVIDIA Jetson AGX Orin và tất cả các phiên bản NVIDIA Jetson Family!

NVIDIA Jetson AGX Orin: NVIDIA

THÔNG SỐ KỸ THUẬT

NVIDIA JETSON AGX ORIN MODULE
AI Performance 275 TOPS (INT8)
GPU NVIDIA Ampere architecture
with 2048 NVIDIA® CUDA® cores and 64 Tensor Cores
Max GPU Freq 1 GHz
CPU 12-core Arm® Cortex®-A78AE v8.2 64-bit CPU
3MB L2 + 6MB L3
CPU Max Freq 2 GHz
DL Accelerator 2x NVDLA v2.0
Vision Accelerator PVA v2.0
Memory 32GB 256-bit LPDDR5
204.8 GB/s
Storage 64GB eMMC 5.1
CSI Camera Up to 6 cameras (16 via virtual channels*)
16 lanes MIPI CSI-2
D-PHY 1.2 (up to 40Gbps) | C-PHY 1.1 (up to 164Gbps)
Video Encode 2x 4K60 | 4x 4K30 | 8x 1080p60 | 16x 1080p30 (H.265)
Video Decode 1x 8K30 | 3x 4K60 | 6x 4K30 | 12x 1080p60| 24x 1080p30 (H.265)
UPHY 2 x8 (or 1×8 + 2×4), 1 x4, 2 x1 (PCIe Gen4, Root Port & Endpoint)
3x USB 3.2
Single lane UFS
Networking 1x GbE
4x 10GbE
Display 1x 8K60 multi-mode DP 1.4a (+MST)/eDP 1.4a/HDMI 2.1
Other I/O 4x USB 2.0
4x UART, 3x SPI, 4x I2S, 8x I2C, 2x CAN, DMIC & DSPK, GPIOs
Power 15W | 30W | 50W
Mechanical 100mm x 87mm
699-pin Molex Mirror Mezz Connector
Integrated Thermal Transfer Plate

REFERENCE CARRIER BOARD

Camera 16-lane MIPI CSI-2 connector
PCIe x16 PCIe slot:
 Lower x8 PCIe Gen4
RJ45 Up to 10 GbE
M.2 Key M x4 PCIe Gen 4
M.2 Key E x1 PCIe Gen 4, USB 2.0, UART, I2S
USB Type-C 2x USB 3.2 Gen2 with USB-PD support
USB Type-A 4x USB 3.2 Gen2
USB Micro-B USB 2.0
DisplayPort DisplayPort 1.4a (+MST)
microSD slot UHS-1 cards up to SDR104 mode
Other 40-pin header (I2C, GPIO, SPI, CAN, I2S, UART, DMIC)
12-pin automation header
10-pin audio panel header
10-pin JTAG header
4-pin fan header
2-pin RTC battery backup connector
DC power jack
Power, Force Recovery, and Reset buttons
Dimensions 110mm x 110mm x 71.65mm
(Height includes feet, carrier board, module, and thermal solution)

***We recommend you check the technical brief to learn more about the new NVIDIA Jetson AGX Orin Module.

NVIDIA Jetson AGX Orin Hardware Layout and GPIO Expansion Header Pinout ( LINK HERE )

Bắt đầu với Jetson Software và các công cụ Machine Learning cần thiết

NVIDIA Jetson Platform bao gồm tất cả các công cụ Machine Learning cần thiết để đẩy nhanh các sản phẩm AI của bạn ra thị trường. Ở cơ sở của Software Stack, NVIDIA JetPack SDK bao gồm Board Support Package (BSP), với boot loader, Linux kernel, drivers, toolchains, and a reference file system based on Ubuntu.

NVIDIA Jetson Software bao gồm NVIDIA JetPack SDK, TAO & Pretrained AI Models from the NVIDIA NGC™ catalog, Triton Inference Server, NVIDIA Riva, DeepStream SDK, and NVIDIA Isaac. Bạn có thể xem tại Jetson Software website để có giải thích chi tiết hơn trước khi bắt tay vào triển khai thực tế với NVIDIA Jetson AGX Orin.

NVIDIA Jetson Software cũng hỗ trợ ContainersContainer Orchestration, giúp sử tận dụng được Cloud-Native ( Điện toán đám mây) cho các dự án về Edge AI. NVIDIA JetPack bao gồm NVIDIA Container Runtime với tích hợp Docker, cho phép các ứng dụng được Container tăng tốc GPU trên nền tảng NVIDIA Jetson. Với NVIDIA Triton ™ Inference Server, bạn cũng có thể đơn giản hóa việc triển khai các Model để triển khai AI trên quy mô lớn.

Jetson Software Ecosystem : NVIDIA

Tăng tốc độ suy luận trên GPU sử dụng NVIDIA TensorRTcuDNN

NVIDIA® TensorRT ™ là một SDK High-Performance Deep Learning Inference. Nó bao gồm một trình Tối ưu suy luận học sâu (Deep Learning Inference Optimizer) và Thời gian chạy mang lại độ trễ thấp và thông lượng cao cho các ứng dụng suy luận học sâu (Deep Learning Inference).

Với TensorRT, các nhà phát triển có thể tập trung vào việc tạo ra các ứng dụng mới dựa trên AI hơn là điều chỉnh hiệu suất để triển khai các suy luận (Inference Deployment).

 NVIDIA: TensorRT

cuDNN (CUDA Deep Neural Network Library) là một thư viện tăng tốc được phát triển bởi NVIDIA cho các mạng thần kinh sâu (Deep Neural Networks). Nó là một thư viện tăng tốc GPU cho các Deep Neural Networks. cuDNN cho phép tăng tốc GPU hiệu suất cao tập trung vào việc đào tạo mạng Neural và phát triển các ứng dụng phần mềm.

NVIDIA: cuDNN Accelerated Frameworks

Deep Learning Accelerator(DLA) trên NVIDIA Jetson AGX Orin

Nếu bạn là một nhà phát triển Jetson hoạt động tích cực, bạn biết rằng một trong những lợi ích chính của NVIDIA Jetson là nó kết hợp CPUGPU vào một Module duy nhất, cung cấp cho bạn NVIDIA Software Stack có thể mở rộng trong một thiết bị nhỏ gọn với mức tiêu thụ năng lượng thấp có thể được triển khai Edge AI.

NVIDIA Jetson cũng có nhiều bộ xử lý khác, bao gồm: Bộ mã hóa và giải mã tốc độ phần cứng (Hardware Accelerated Encoders và Decoders), Bộ xử lý tín hiệu hình ảnh (Image Signal Processor), Bộ tăng tốc học sâu - Deep Learning Accelerator (DLA).

DLA có sẵn trên các Module NVIDIA Jetson AGX Xavier, Xavier NX, Jetson AGX Orin Jetson Orin NX. Các nền tảng dựa trên NVIDIA DRIVE XavierOrin gần đây cũng có lõi DLA.

Cách sử dụng Deep Learning Accelerator

A coarse architecture diagram highlighting the Deep Learning Accelerators on Jetson Orin

Để sử dụng DLA, trước tiên bạn cần đào tạo Model của mình bằng một Deep Learning Framework như PyTorch hoặc TensorFlow. Tiếp theo, bạn cần nhập và tối ưu hóa Model của mình với NVIDIA TensorRT. TensorRT chịu trách nhiệm tạo ra các công cụ DLA và cũng có thể được sử dụng như một Runtime để thực thi chúng. Cuối cùng, bạn nên cấu hình chế độ của mình và thực hiện tối ưu hóa nếu có thể để tối đa hóa khả năng tương thích của DLA. Tham khảo thêm (LINK HERE)

New Jetpack 5.0 and 5.0.1

Theo lộ trình NVIDIA Jetson Software, JetPack 5.0 and 5.01 nền tảng sẽ là Ubuntu 20.04, hỗ trợ các Module OrinJetson Xavier ( LINK HERE )

CÁC ỨNG DỤNG CỦA NVIDIA JETSON AGX ORIN 

Với NVIDIA Jetson AGX Orin Module có sức mạnh xử lý AI 275 TOPS (gấp khoảng 8 lần so với AGX Xavier), các nhà phát triển có thể Deploy Machine Learning Models để giải quyết những thách thức khắt khe trong các ứng dụng Edge AI  cho: Sản Xuất (Manufacturing), Logistics, Bán Lẻ (Retail), Dịch Vụ (Service), Nông Nghiệp (Agriculture), Thành phố Thông Minh (Smart City), Chăm Sóc Sức Khỏe (Healthcare) và Khoa Học Đời Sống (Life Science)

XE TỰ LÁI (Autonomous driving vehicles)

Robotics, chẳng hạn như trong các phương tiện Xe Tự Lái “real-time critical” trong môi trường doanh nghiệp thường cần phản hồi trong vòng một phần nghìn giây và chỉ có thể thực hiện được với nhiều TOPS. Có sáu cấp độ Ô TÔ Tự Lái - L0 (Không tự động hóa), L1 (Hỗ trợ người lái), L2 (Tự động hóa một phần), L3 (Tự động hóa có điều kiện), L4 (Tự động hóa cao)L5 (Tự động hóa hoàn toàn) và sức mạnh tính toán yêu cầu đối với mỗi cấp độ của Xe Tự Lái sẽ ít hơn 10 TOPS đối với L2, 30 đến 60 TOPS đối với L3, hơn 100 TOPS đối với L4 và dự đoán khoảng 1.000 TOPS đối với L5. Tham khảo (LINK HERE)


Computational Requirements for different SAE Levels : GSAGLOBAL

BÁN LẺ (Retail)

Sử dụng khả năng Machine Learning có trên NVIDIA Jetson Platform, có thể cải thiện độ chính xác của dự báo để quản lý hàng tồn kho. Điều này tác động đáng kể đến việc tối ưu chuỗi cung ứng. Các thuật toán Machine Learning có thể được đào tạo nhanh hơn với thư viện Data Processing và Machine Learning mã nguồn mở NVIDIA'S RAPIDS, cho phép các nhà bán lẻ dự báo nhu cầu sản phẩm cho cửa hàng của họ hiệu quả và bổ sung phù hợp theo xu hướng của người mua sắm. Điều này giúp tiết kiệm chi phí hàng tồn kho theo quy mô. Tham khảo ( LINK HERE )

 

Retail Solution : NVIDIA

SẢN XUẤT (Manufacturing)

Các nhà máy sản xuất đang tận dụng các Logistics Robots chạy trên Software Platform Architecture NVIDIA’s open Isaac robotics để tự động hóa khả năng sản xuất. Với các Logistics Robots tiên tiến, điều này cho phép vận chuyển vật liệu một cách tự động, trong khi các Robot thao tác chọn và tổ chức các bộ phận.

NVIDIA Isaac Sim : NVIDIA

GIAO THÔNG (Traffic)

Quy trình phát triển AI có thể được tăng tốc với bộ dữ liệu lưu lượng phương tiện được thu thập hiện có với mô hình TrafficCamNet được đào tạo trước từ NGC và Bộ công cụ NVIDIA TAO trên NVIDIA Jetson Edge AI Platform. Điều này đã giúp cắt giảm thời gian phát triển xuống chỉ còn vài tuần, cung cấp một giải pháp giao thông an toàn cho thành phố tự động phát hiện, đếm và đo tốc độ cũng như theo dõi người đi bộ, xe đạp và phương tiện lưu thông.

TrafficCamNet : NVIDIA

CHĂM SÓC SỨC KHỎE (Healthcare)

Việc phát triển và triển khai các cảm biến thông minh với Multimodal AI có thể được tăng tốc với NVIDIA Clara™ Guardian, một Application FrameworkPartner Ecosystem. Clara Guardian cung cấp thông tin chi tiết theo thời gian thực để đảm bảo an toàn thông qua khả năng điều chỉnh khoảng cách xã hội, sàng lọc cơn sốt, phát hiện đồ bảo hộ và theo dõi bệnh nhân có nguy cơ cao thông qua kết hợp phân tích video thông minh và khả năng trò chuyện của AI. Tham khảo (LINK HERE)


NVIDIA Clara Guardian : NVIDIA
CÁC ỨNG DỤNG CỦA NVIDIA JETSON SERIES

Như vậy hôm nay mình và các bạn đã cùng nhau tìm hiểu về NVIDIA Jetson AGX Orin - Best AI performance of NVIDIA Jetson Family. (LINK HERE)


Nếu các bạn có bất kỳ ý tưởng mới cũng như đóng góp nào đừng ngần ngại mà hãy inbox trực tiếp cho fanpage . Xin chào và hẹn gặp lại các bạn trong các bài viết tiếp theo !!!