1.2.1. CUDA 일반

• MPS 클라이언트 종료가 이제 Tegra 플랫폼에서 지원됩니다(L4T 사용자 - JetPack 7.0 이상부터). 자세한 내용은 여기에서 확인할 수 있습니다 .

• CIG(그래픽의 확장 CUDA) 모드는 이제 Vulkan을 지원하여 기존의 DirectX 전용 구현을 넘어 확장되었습니다.

• WDDM 및 MCDM 모드에서 드라이버를 사용하면 Windows에서 CPU NUMA 할당을 지원하여 cuMemCreate이전 에는 Linux에서만 가능했던 기능을 확장했습니다.cuMemAllocAsync

• CUDA 그래프 기능이 향상되어 자식 그래프에 메모리 노드를 포함할 수 있게 되었습니다.

• CUDA Toolkit 12.9는 SM 아키텍처 10.3( sm_103, sm_103f, sm_103a) 및 12.1( sm_121)에 대한 컴파일러 타겟 지원을 추가하여 각 변형에 대한 특정 최적화를 통해 최신 GPU 아키텍처에 대한 개발을 가능하게 합니다.

• CUDA 툴킷 12.9는 새로운 대상 아키텍처 클래스인 제품군별 아키텍처에 대한 컴파일러 지원을 도입했습니다. 자세한 내용은 NVIDIA 블로그: 제품군별 아키텍처 기능에서 확인하세요.

• NVML 및 nvidia-smi에 대한 다양한 개선 사항:

  • 다음과 같은 이유로 제한 시간에 대한 카운터(마이크로초)가 추가되었습니다.

    • nvmlClocksEventReasonGpuIdle

    • nvmlClocksEventReasonApplicationsClocksSetting

    • nvmlClocksEventReasonSwPowerCap

    • nvmlClocksThrottleReasonHwSlowdown

    • nvmlClocksEventReasonSyncBoost

    • nvmlClocksEventReasonSwThermalSlowdown

    • nvmlClocksThrottleReasonHwThermalSlowdown

    • nvmlClocksThrottleReasonHwPowerBrakeSlowdown

    • nvmlClocksEventReasonDisplayClockSetting

  • CUDA와 NVML 간 장치 식별의 일관성이 향상되었습니다.

  • NVML 칩 간(C2C) 원격 측정 API가 추가되었습니다.

  • CTXSW 메트릭 추가됨

  • GPU 평균 전력 카운터 구현

  • PCIe 바인딩/바인딩 해제 이벤트가 추가되었습니다.

1.2.2. CUDA 컴파일러

• PTX 변경 사항에 대한 자세한 내용은 https://docs.nvidia.com/cuda/parallel-thread-execution/#ptx-isa-version-8-8을 참조하세요 .

• --Ofast-compile=<level>nvcc, nvlink, nvrtc, ptxas에서 지원되는 새로운 컴파일러 옵션이 추가되었습니다 . 이 옵션은 다양한 수준의 최적화보다 빠른 컴파일을 우선시하여 개발 주기를 단축하는 데 도움이 됩니다. 자세한 내용은 빠른 컴파일 관련 문서를 참조하세요.

• nvcc 및 nvrtc에서 지원되는 새로운 컴파일러 옵션이 추가되었습니다 --frandom-seed=<seed>. 사용자가 지정한 난수 시드는 심볼 이름과 변수 이름 생성에 사용되는 난수를 대체하는 데 사용됩니다. 이 옵션은 결정적으로 동일한 ptx 및 객체 파일을 생성하는 데 사용할 수 있습니다. 입력 값이 유효한 숫자(10진수, 8진수 또는 16진수)이면 난수 시드로 직접 사용됩니다. 그렇지 않으면 전달된 문자열의 CRC 값이 대신 사용됩니다. 호스트 컴파일러가 GCC 또는 Clang인 경우, NVCC는 -frandom-seed 옵션도 지원하므로 해당 옵션과 사용자가 지정한 값을 호스트 컴파일러에 전달합니다. 사용자는 파일마다 다른 시드를 할당해야 합니다.

1.2.3. CUDA 개발자 도구

• nvprof 및 Visual Profiler의 변경 사항은 변경 로그를 참조하세요 .

• Nsight Systems의 새로운 기능, 개선 사항 및 버그 수정 사항은 변경 로그를 참조하세요 .

• Nsight Visual Studio Edition의 새로운 기능, 개선 사항 및 버그 수정 사항은 변경 로그를 참조하세요 .

• CUPTI의 새로운 기능, 개선 사항 및 버그 수정 사항은 변경 로그에서 확인하세요 .

• Nsight Compute의 새로운 기능, 개선 사항 및 버그 수정 사항은 변경 로그를 참조하세요 .

• Compute Sanitizer의 새로운 기능, 개선 사항 및 버그 수정 사항은 변경 로그에서 확인하세요 .

• CUDA-GDB의 새로운 기능, 개선 사항 및 버그 수정 사항은 변경 로그를 참조하세요 .

1.3.1. CUDA 컴파일러

• 클래스 템플릿 인수로 사용된 람다 표현식이 함수 템플릿 내부에서 호출될 때 발생하는 세그먼테이션 오류가 해결되었습니다. [ 4610125 ]

• 보호된 생성자를 상속할 때 발생하는 NVCC 내부 어설션이 해결되었습니다. [ 4840916 ]

• 람다의 C++20 템플릿 매개변수 목록과 새로운 자동 구문으로 인해 nvcc가 실패하는 문제가 해결되었습니다. [ 4843349, 4843351 ]

• 템플릿 람다에서 constexpr(concept) 사용과 관련된 잘못된 C++20 문제가 해결되었습니다. [ 4843720 ]

• C++20과 함께 MSVC를 사용할 때 CUDA 12.6.1에서 발생하는 템플릿 컴파일 오류가 해결되었습니다. [ 4871089 ]

• C++ 코드에서 잘못된 초기화로 인한 NVCC 문제가 해결되었습니다 . [ 3885996 ]std::vector of std::any

1.4.1. CUDA 컴파일러

• 이번 릴리스에서는 유사 아키텍처 간의 호환성을 보장하는 새로운 메커니즘이 도입되었습니다( 패밀리별 명령어에 대한 자세한 내용은 CUDA 프로그래밍 가이드를 참조하십시오 ). 이 초기 릴리스에서는 일부 코드 경로에서 예상보다 긴 링크 및 로딩 시간이 발생할 수 있습니다. 이러한 오버헤드는 향후 소프트웨어 릴리스에서 줄어들 예정입니다.

• CUDA 12.8부터 Ampere 스타일 MMA(예: mma.m16n8k16FP16)를 사용하는 커널, 특히 MMA 형태가 16x8x128인 커널에서 컴파일 오류가 발생하는 문제가 발견되었습니다. 이는 M, N, K 차원 중 어느 하나라도 16으로 나누어 떨어지지 않는 GEMM 연산을 수행할 때 fp8_e5m2, fp8_e4m3, fp16, bf16, int8 등의 정밀도에 영향을 미칩니다. 잘못 컴파일된 코드는 SM80, SM90, 및 SM100아키텍처에서 "잘못된 메모리 액세스"와 같은 런타임 오류를 유발할 수 있습니다. 해결 방법: 이 문제를 방지하려면 플래그를 사용하여 컴파일하십시오 . 향후 릴리스에서 이 문제를 해결하기 위해 적극적으로 노력하고 있습니다.-Xptxas -O0

1.5.1. CUDA 일반

• NVTX v2는 이전에 지원 중단된 후 CUDA 툴킷에서 제거되었습니다. 툴킷에 포함된 코드를 에서 로 변경하여 NVTX v3으로 마이그레이션하세요 . 최신 NVTX 버전과 확장 기능은 여기에서 확인할 수 있습니다 .#include <nvtoolsext.h>#include "nvtx3/nvtoolsext.h"

1.5.2. 더 이상 사용되지 않는 아키텍처

• Maxwell, Pascal, Volta 아키텍처는 이제 모든 기능을 갖추고 있으며 추가 개선 계획은 없습니다. CUDA Toolkit 12.x 시리즈는 이러한 아키텍처용 애플리케이션 빌드를 계속 지원하지만, 오프라인 컴파일 및 라이브러리 지원은 다음 주요 CUDA Toolkit 버전 릴리스에서 제거될 예정입니다. 향후 툴킷은 Maxwell, Pascal, Volta GPU를 지원하지 않으므로 사용자는 최신 아키텍처로의 마이그레이션을 계획해야 합니다.

1.5.3. 더 이상 지원되지 않거나 삭제된 운영 체제

• CUDA Toolkit 12.9는 Ubuntu 20.04에 대한 공식 지원을 제공하는 마지막 CUDA 릴리스가 될 것입니다.

1.5.4. 더 이상 사용되지 않는 CUDA 툴체인

• ICC 2021.7 호스트 컴파일러에 대한 지원은 릴리스 12.9에서 더 이상 제공되지 않으며 향후 릴리스에서 제거될 예정입니다.

2.1.1. cuBLAS: 릴리스 12.9

• 새로운 기능

  • cuBLASLt API 내에서 행렬 곱셈 연산에 대한 독립 배치 포인터 지원을 도입했습니다. 이전에는 cuBLAS gemmEx API에서만 제공되었던 이 기능을 통해 이제 저정밀도 데이터 유형에 대한 포인터 배열 배치 지원이 가능해졌습니다. 현재 융합 에필로그는 제한적으로 지원됩니다.

  • sm_90Hopper( )에 새로운 스케일링 모드(채널/행당 외부 벡터, 128개 요소당, 128x128 블록당)에 대한 지원이 추가되었습니다 . 현재 융합된 에필로그는 제한적으로 지원됩니다.

  • BF16x9 알고리즘을 기반으로 에뮬레이션된 FP32를 사용하여 FP32 행렬 곱셈의 연산 중심 인스턴스에서 최대 3배의 속도 향상과 에너지 효율 개선을 구현했습니다. 이 기능은 일부 Blackwell GPU에서 사용할 수 있습니다. 자세한 내용은 여기를 클릭하세요 . FP32 에뮬레이션을 활성화하려면 CUDA 라이브러리 샘플을 참조 하세요. 숫자가 아닌 값(NaN, Inf 등)은 상호 교환 가능한 오류 표시기로 처리됩니다.

• 알려진 문제

  • cublasLtMatmul ReLU 에필로그에 대해 사용자 지정 Aux 데이터 유형을 무시하고 비트마스크를 기본적으로 사용합니다. 사용자가 ReLU 에필로그에 잘못된 Aux 데이터 유형을 지정한 경우 오류를 반환하는 것이 올바른 동작입니다. [ CUB-7984 ]

• 사용 중단

  • 향후 릴리스에서는 cuBLAS가 작업 공간 메모리에 대해 256바이트 정렬을 적용할 예정입니다.

  • 향후 릴리스에서는 CUBLAS_STATUS_NOT_SUPPORTED다음 설명자 속성이 설정되어 있지만 해당 스케일이 지원되지 않는 경우 cuBLAS가 반환됩니다.

    • CUBLASLT_MATMUL_DESC_A_SCALE_POINTER

    • CUBLASLT_MATMUL_DESC_B_SCALE_POINTER

    • CUBLASLT_MATMUL_DESC_D_SCALE_POINTER

    • CUBLASLT_MATMUL_DESC_D_OUT_SCALE_POINTER

    • CUBLASLT_MATMUL_DESC_EPILOGUE_AUX_SCALE_POINTER

    이러한 동작은 좁은 정밀도가 아닌 matmul에 이미 적용되어 있으며, 좁은 정밀도가 아닌 텐서에 스케일이 설정된 경우 곧 좁은 정밀도 matmul에도 적용될 예정입니다.

  • NVIDIA 개발자 포럼 에 게시 하거나 다음 주소로 이메일을 보내서 예정된 지원 중단에 대한 피드백을 공유하세요 Math-Libs-Feedback@nvidia.com.

2.1.2. cuBLAS: 릴리스 12.8

• 새로운 기능

  • NVIDIA Blackwell GPU 아키텍처에 대한 지원이 추가되었습니다.

  • 컴퓨팅 성능 10.0(Blackwell) 이상에서 마이크로 스케일 4비트 및 8비트 부동 소수점 혼합 정밀도 텐서 코어 가속 행렬 곱셈을 지원하도록 cuBLASLt API를 확장했습니다. 확장 기능은 다음과 같습니다.

    • CUDA_R_4F_E2M1: CUDA_R_UE4M3스케일 및 16개 요소 스케일링 블록과의 통합.

    • CUDA_R_8F 변형: CUDA_R_UE8스케일 및 32개 요소 스케일링 블록과의 호환성.

    • FP8 Matmul 속성 확장

      • 스칼라 대신 스케일링 인자 텐서를 사용한 블록 스케일링 사용 사례 지원.

      • 출력이 4비트 또는 8비트 부동 소수점 데이터 유형인 경우 출력 텐서에 대한 스케일링 요소를 동적으로 계산하는 기능입니다.

  • Windows x64에서 NVIDIA Ampere GPU 아키텍처 및 Blackwell GeForce급 GPU를 위한 CUDA in Graphics(CIG)에 대한 초기 지원이 도입되었습니다. 이제 CIG 컨텍스트가 자동으로 감지되며, cuBLAS는 CIG 공유 메모리 사용량 제한을 준수하는 커널을 선택합니다.

  • 정렬되지 않은 INT8 matmul에 대해 모든 Hopper GPU의 성능이 향상되었습니다.

• 해결된 문제

  • cublasLtMatmul에필로그 와 함께 사용하면 CUBLASLT_EPILOGUE_BGRAD{A,B}출력 행렬이 CUBLASLT_ORDER_ROW레이아웃에 포함될 수 있어 바이어스 그래디언트가 잘못 계산되었습니다. 이제 CUBLASLT_EPILOGUE_BGRAD{A,B}에필로그를 사용할 때는 이 레이아웃이 허용되지 않습니다. [ 4910924 ]

• 사용 중단

  • 출력 행렬의 행( ) 또는 열( )에 따른 원자 동기화를 위한 실험적 기능이 이제 더 이상 지원되지 않습니다. 기능 구현은 여전히 ​​사용 가능하지만 성능이 좋지 않아 향후 릴리스에서 제거될 예정입니다.CUBLASLT_MATMUL_DESC_ATOMIC_SYNC_NUM_CHUNKS_D_ROWSCUBLASLT_MATMUL_DESC_ATOMIC_SYNC_NUM_CHUNKS_D_COLS

2.1.3. cuBLAS: 릴리스 12.6 업데이트 2

• 새로운 기능

  • 모든 Hopper GPU에서 FP8 , FP16 및 BF16 matmuls의 전반적인 성능이 향상되었습니다. 이 개선 사항 CUBLASLT_EPILOGUE_BIAS에는 다음 융합 에필로그도 포함 됩니다 .CUBLASLT_EPILOGUE_RELUCUBLASLT_EPILOGUE_RELU_BIASCUBLASLT_EPILOGUE_RELU_AUXCUBLASLT_EPILOGUE_RELU_AUX_BIASCUBLASLT_EPILOGUE_GELUCUBLASLT_EPILOGUE_GELU_BIAS

• 알려진 문제

  • 다중 컨텍스트 시나리오에서 cuBLAS는 버전 <535.91의 R535 드라이버에서 중단될 수 있습니다. [ CUB-7024 ]

  • FP64 GEMM의 경우 Hopper GPU에서 성능이 최적화되지 않을 수 있습니다. 이 문제를 해결하는 한 가지 방법은 조건부로 스위즐링을 cublasLtMatmulAlgoGetHeuristic활성화하는 것입니다. 이를 위해 사용자는 를 통해 반환된 알고리즘을 사용하여 를 호출하여 스위즐링을 활성화할 수 있는지 쿼리 cublasLtMatmulAlgoCapGetAttribute할 수 있습니다. 스위즐링이 지원되는 경우 를 호출 하여 CUBLASLT_ALGO_CAP_CTA_SWIZZLING_SUPPORT스위즐링을 활성화할 수 있습니다 . [ 4872420 ]cublasLtMatmulAlgoConfigSetAttributeCUBLASLT_ALGO_CONFIG_CTA_SWIZZLING

• 해결된 문제

  • cublasLtMatmul이러한 데이터 유형이 cublasLtMatmulDescAttributes_t <https://docs.nvidia.com/cuda/cublas/#cublasltmatmuldescattributes-t>__ 에 문서화된 제한 사항과 일치하지 않는 경우 FP8 matmul 작업에 대해 사용자가 지정한 Bias 또는 Aux 데이터 유형( CUBLASLT_MATMUL_DESC_BIAS_DATA_TYPE및 )을 무시할 수 있습니다 . [ 44750343, 4801528 ]CUBLASLT_MATMUL_DESC_EPILOGUE_AUX_DATA_TYPE

  • 이 환경 변수를 로 설정하면 CUDA_MODULE_LOADINGPTX EAGER커널의 JIT 컴파일로 인해 Hopper GPU에서 라이브러리 로드 시간이 길어질 수 있습니다. 이 문제는 이 환경 변수를 로 설정하면 완화할 수 있습니다 LAZY. [ 4720601 ]

  • cublasLtMatmulINT8 입력, INT32 누적, INT8 출력 및 FP32 스케일링 요인이 splitk감소를 사용했을 때 수치적 부정확성이 발생할 수 있습니다. [ 4751576 ]

2.1.4. cuBLAS: 릴리스 12.6 업데이트 1

• 알려진 문제

  • cublasLtMatmul이러한 데이터 유형이 cublasLtMatmulDescAttributes_t 의 문서화된 제한 사항과 일치하지 않는 경우 FP8 matmul 작업에 대해 사용자가 지정한 Bias 또는 Aux 데이터 유형( CUBLASLT_MATMUL_DESC_BIAS_DATA_TYPE 및 )을 무시할 수 있습니다 . [ 4750343 ]CUBLASLT_MATMUL_DESC_EPILOGUE_AUX_DATA_TYPE

  • 이 환경 변수를 로 설정하면 CUDA_MODULE_LOADINGPTX EAGER커널의 JIT 컴파일로 인해 Hopper GPU에서 라이브러리 로드 시간이 길어질 수 있습니다. 이 문제는 이 환경 변수를 로 설정하면 완화할 수 있습니다 LAZY. [ 4720601 ]

  • cublasLtMatmulINT8 입력, INT32 누적, INT8 출력 및 FP32 스케일링 계수를 사용하는 경우 splitk감소를 사용할 때 정확도 문제가 발생할 수 있습니다. 이 문제를 해결하려면 를 사용하여 cublasLtMatmulAlgoConfigSetAttribute 감소 체계를 '없음'으로 설정하고 splitk값을 1로 설정할 수 있습니다. [ 4751576 ]

2.1.5. cuBLAS: 릴리스 12.6

• 알려진 문제

  • INT8 입력, INT8 출력, 그리고 FP32 스케일링 인자를 사용하는 행렬 곱셈과 에필로그를 계산할 때, 두 번째 커널을 사용하여 에필로그를 계산할 경우 수치 오류가 발생할 수 있습니다. 이는 첫 번째 GEMM 커널이 FP32의 중간 결과를 INT8로 변환하여 이후 에필로그 커널이 사용할 수 있도록 저장하기 때문에 발생합니다. 에필로그 이전에 값이 INT8 범위를 벗어나고 에필로그를 통해 INT8 범위에 포함되는 경우, 수치 오류가 발생합니다. 이 문제는 CUDA 12 이전부터 존재했으며, 알려진 해결 방법은 없습니다. [ CUB-6831 ]

  • cublasLtMatmul이러한 데이터 유형이 cublasLtMatmulDescAttributes_t 의 문서화된 제한 사항과 일치하지 않는 경우 FP8 matmul 작업에 대해 사용자가 지정한 Bias 또는 Aux 데이터 유형( CUBLASLT_MATMUL_DESC_BIAS_DATA_TYPE및 )을 무시할 수 있습니다 . [ 4750343 ]CUBLASLT_MATMUL_DESC_EPILOGUE_AUX_DATA_TYPE

• 해결된 문제

  • cublasLtMatmul행렬의 데이터 유형이 A다르고 B(예: Ais CUDA_R_8F_E4M3및 Bis CUDA_R_8F_E5M2) 행렬 D레이아웃이 FP8인 경우 잘못된 결과가 생성되었습니다 CUBLASLT_ORDER_ROW. [ 4640468 ]

  • cublasLt일부 경우 A, B, 및 C가 유형 CUDA_R_8I이고 컴퓨팅 유형이 .인 경우 Hopper GPU에서 지원되지 않는 것으로 반환될 수 있습니다 CUBLAS_COMPUTE_32I. [ 4381102 ]

  • KGEMM을 0과 동일하게 실행할 때 cuBLAS가 부동 소수점 예외를 생성할 수 있습니다. [ 4614629 ]

2.1.6. cuBLAS: 릴리스 12.5 업데이트 1

• 새로운 기능

  • 특히 Hopper GPU에서 작은 배치 크기에 맞춰 대규모 언어 모델을 대상으로 행렬 곱셈의 성능을 개선했습니다.

• 알려진 문제

  • Hopper GPU에서 스트라이드 배치의 경우, ReLU 또는 GeLU가 없는 바이어스 에필로그가 지원되지 않을 수 있습니다. 이 문제를 해결하려면 배칭을 수동으로 구현해야 합니다. 이 문제는 향후 릴리스에서 수정될 예정입니다.

  • cublasGemmGroupedBatchedExCPU 오버헤드가 큽니다 cublas<t>gemmGroupedBatched. 이 문제는 다음 릴리스에서 해결될 예정입니다.

• 해결된 문제

  • 드물지만 Hopper GPU에서 GEMM과 동시에 SYMM/HEMM을 실행하면 호스트 코드에서 경쟁 조건이 발생하여 불법 메모리 액세스 CUDA 오류가 발생할 수 있습니다. [ 4403010 ]

  • cublasLtMatmul다음 조건에서 Pascal GPU에서 불법 명령어 CUDA 오류가 발생할 수 있습니다. 배치가 1보다 크고 베타가 0이 아니며 계산이 제자리에 없는 경우(C != D). [ 4566993 ]

2.1.7. cuBLAS: 릴리스 12.5

• 새로운 기능

  • cuBLAS는 혼합 정밀도 그룹화된 배치 GEMM을 지원하는 실험적 API를 추가합니다. 이를 통해 FP32 컴퓨팅 유형을 사용하는 FP16 또는 BF16 입출력을 갖는 그룹화된 배치 GEMM을 사용할 수 있습니다. 자세한 내용은 cublasGemmGroupedBatchedEx를 참조하세요.

• 알려진 문제

  • cublasLtMatmul각 행렬의 요소가 FP8 유형이 아닌 경우 해당 행렬 에 CUBLASLT_MATMUL_DESC_D_SCALE_POINTER대한 입력을 무시합니다 .CUBLASLT_MATMUL_DESC_EPILOGUE_AUX_SCALE_POINTER

• 해결된 문제

  • cublasLtMatmul제공된 스케일 유형과 설명서에 암시된 내용 사이의 불일치를 무시하고 후자를 가정했습니다. 예를 들어, cublasLtMatmul스케일 유형이 FP32이고 다른 모든 유형이 FP16인 지원되지 않는 구성은 스케일 유형이 FP16이라는 암묵적인 가정 하에 실행되어 잘못된 결과를 생성합니다.

  • cuBLAS SYMV는 큰 n 차원에서는 실패했습니다: ssymv의 경우 131072 이상, csymv 및 dsymv의 경우 92673 이상, zsymv의 경우 65536 이상.

2.1.8. cuBLAS: 릴리스 12.4 업데이트 1

• 알려진 문제

  • cuBLAS 핸들 스트림을 로 설정 cudaStreamPerThread하고 작업 공간을 via로 설정하면 cublasSetWorkspace이후 모든 cublasSetWorkspace호출이 실패합니다. 이 문제는 다음 릴리스에서 수정될 예정입니다.

  • cublasLtMatmul제공된 스케일 유형과 설명서에 명시된 스케일 유형 간의 불일치를 무시하고 후자를 가정합니다. 예를 들어, cublasLtMatmul스케일 유형이 FP32이고 다른 모든 유형이 FP16인 지원되지 않는 구성은 스케일 유형이 FP16이라는 암묵적인 가정 하에 실행되어 잘못된 결과를 생성할 수 있습니다. 이 문제는 향후 릴리스에서 수정될 예정입니다.

• 해결된 문제

  • cublasLtMatmul지원되지 않는 구성에 대해서는 오류를 반환하는 대신 무시했습니다 CUBLASLT_MATMUL_DESC_AMAX_D_POINTER. 특히, D의 절대 최댓값을 계산하는 기능은 현재 FP8 Matmul에서 출력 데이터 유형이 FP8( CUDA_R_8F_E4M3또는 CUDA_R_8F_E5M2)인 경우에만 지원됩니다.

  • 일부 cuBLASLt API( cublasLtMatmul(), cublasLtMatmulAlgoCheck(), cublasLtMatmulAlgoGetHeuristic())의 호스트 측 오버헤드가 감소했습니다. 이 문제는 CUDA Toolkit 12.4에서 처음 발생했습니다.

  • cublasLtMatmul()cublasLtMatmulAlgoGetHeuristic()일부 Hopper 기반 GPU(MIG(Multi-Instance GPU) 포함)에서 부동 소수점 예외(FPE)가 발생할 수 있었습니다. 이 문제는 cuBLAS 11.8에서 발생했습니다 .

2.1.9. cuBLAS: 릴리스 12.4

• 새로운 기능

  • cuBLAS는 단정밀도 및 배정밀도에 대한 그룹화된 배치 GEMM을 지원하는 실험적 API를 추가합니다. 단정밀도는 수학 모드도 지원합니다 CUBLAS_TF32_TENSOR_OP_MATH. 그룹화된 배치 모드를 사용하면 서로 다른 차원(m, n, k), 선행 차원(lda, ldb, ldc), 전치(transa, transb), 그리고 스케일링 인자(alpha, beta)의 GEMM을 동시에 풀 수 있습니다. 자세한 내용은 gemmGroupedBatched를 참조하세요.

• 알려진 문제

  • 현재 컨텍스트가 를 사용하여 생성된 경우 cuGreenCtxCreate(), cuBLAS는 사용 가능한 SM 수를 제대로 감지하지 못합니다. 사용자는 와 같은 API를 사용하여 수정된 SM 수를 cuBLAS에 제공할 수 있습니다 cublasSetSmCountTarget().

  • 알파가 0이고 포인터 모드가 .(으)로 설정된 경우, BLAS 레벨 2 및 3 함수가 알파를 BLAS 호환 방식으로 처리하지 못할 수 있습니다 CUBLAS_POINTER_MODE_DEVICE. 이는 cuBLAS 12.3 업데이트 1에 설명된 알려진 문제와 동일합니다.

  • cublasLtMatmulK가 1이고 에필로그가 CUBLASLT_EPILOGUE_D{RELU,GELU}_BGRAD작업 영역에 접근할 수 있는 범위를 초과할 수 있습니다. 이 문제는 cuBLAS 11.3 업데이트 1부터 발생합니다.

  • cublasLtMatmulK가 1이고 에필로그가 CUBLASLT_EPILOGUE_D{RELU,GELU}작업 공간을 제공하지 않으면 불법적인 메모리 접근을 생성할 수 있습니다. 이 문제는 cuBLAS 11.6부터 존재합니다.

  • CUDA 그래프 스트림 캡처에서 캡처된 경우, cuBLAS 루틴은 스트림 순서 할당 API를 사용하여 메모리 노드를cudaMallocAsync 생성할 수 있습니다. 그러나 현재 자식 그래프 나 장치cudaFreeAsync 에서 실행된 그래프의 메모리 노드는 지원되지 않으므로 이러한 상황에서 cuBLAS 루틴을 캡처하려는 시도는 실패할 수 있습니다. 이 문제를 방지하려면 cublasSetWorkspace() 함수를 사용하여 사용자 소유 작업 공간 메모리를 제공하십시오.

2.1.10. cuBLAS: 릴리스 12.3 업데이트 1

• 새로운 기능

  • 높은 추방률을 갖는 작업 부하에 대한 휴리스틱 캐시의 성능이 향상되었습니다.

• 알려진 문제

  • BLAS 레벨 2 및 3 함수는 알파가 0이고 포인터 모드가 .로 설정된 경우 BLAS 호환 방식으로 알파를 처리하지 않을 수 있습니다 CUBLAS_POINTER_MODE_DEVICE. 예상되는 동작은 해당 계산이 건너뛰어진다는 것입니다. 다음과 같은 문제가 발생할 수 있습니다. (1) HER{,2,X,K,2K}는 출력 행렬의 대각 요소의 허수부를 0으로 만들 수 있습니다. (2) HER{,2,X,K,2K}, SYR{,2,X,K,2K} 및 기타는 그렇지 않으면 건너뛰어야 할 행렬 A 및 B에 대한 계산을 수행하여 NaN을 생성할 수 있습니다. BLAS를 엄격하게 준수해야 하는 경우 사용자는 함수를 호출하기 전에 알파 값을 수동으로 확인하거나 .로 전환할 수 있습니다 CUBLAS_POINTER_MODE_HOST.

• 해결된 문제

  • cuBLASLt matmul 연산은 다음 조건에서 출력을 잘못 계산했을 수 있습니다. 행렬 A와 B의 데이터 유형이 FP8이고, 행렬 C와 D의 데이터 유형이 FP32, FP16 또는 BF16이고, 베타 값이 1.0이고, 행렬 C와 D가 동일하고, 에필로그에 GELU 활성화 함수가 포함되어 있는 경우입니다.

  • CUDA Toolkit 12.2 업데이트 1 또는 이전 버전의 cuBLASLt로 컴파일한 애플리케이션이 CUDA Toolkit 12.2 업데이트 2 또는 CUDA Toolkit 12.3의 cuBLASLt로 실행될 때, .을 사용하여 초기화된 행렬 곱셈 설명자가 . cublasLtMatmulDescInit()을 사용하여 변경된 속성을 따르지 않는 경우가 있었습니다 cublasLtMatmulDescSetAttribute().

  • MPS(Multi-Process Service)에서 Hopper GPU에 대한 cuBLAS 또는 cuBLASLt 핸들 생성이 수정되었습니다.

  • cublasLtMatmulK가 1이고 에필로그가 CUBLASLT_EPILOGUE_BGRAD{A,B}편향 기울기에 대해 잘못된 결과를 반환했을 수 있습니다.

2.1.11. cuBLAS: 릴리스 12.3

• 새로운 기능

  • NVIDIA L40S Ada GPU의 성능이 향상되었습니다.

• 알려진 문제

  • cuBLASLt matmul 연산은 다음 조건에서 출력을 잘못 계산할 수 있습니다. 행렬 A와 B의 데이터 유형이 FP8인 경우, 행렬 C와 D의 데이터 유형이 FP32, FP16 또는 BF16인 경우, 베타 값이 1.0인 경우, 행렬 C와 D가 동일한 경우, 에필로그에 GELU 활성화 함수가 포함된 경우입니다.

  • CUDA Toolkit 12.2 업데이트 1 이하 버전의 cuBLASLt로 컴파일된 애플리케이션을 CUDA Toolkit 12.2 업데이트 2 이상의 cuBLASLt로 실행할 경우, 를 사용하여 초기화된 행렬 곱셈 설명자가 를 cublasLtMatmulDescInit()사용한 속성 변경 사항을 반영하지 않을 수 있습니다 . 이 문제를 해결하려면 를 대신 cublasLtMatmulDescSetAttribute()사용하여 행렬 곱셈 설명자를 생성하십시오 . 이 문제는 다음 릴리스에서 수정될 예정입니다.cublasLtMatmulDescCreate()cublasLtMatmulDescInit()

2.1.12. cuBLAS: 릴리스 12.2 업데이트 2

• 새로운 기능

  • cuBLASLt는 이제 단일 gemm 커널로는 실행할 수 없는 문제를 분해하려고 시도합니다. 문제를 더 작은 단위로 분할하고 gemm 커널을 여러 번 실행하여 이를 수행합니다. 이를 통해 m, n 또는 배치 크기가 매우 큰 사례에 대한 기능적 적용 범위가 향상되고 cuBLAS API에서 cuBLASLt API로의 전환이 더욱 안정적으로 이루어집니다.

• 알려진 문제

  • cuBLASLt matmul 연산은 다음 조건에서 출력을 잘못 계산할 수 있습니다. 행렬 A와 B의 데이터 유형이 FP8인 경우, 행렬 C와 D의 데이터 유형이 FP32, FP16 또는 BF16인 경우, 베타 값이 1.0인 경우, 행렬 C와 D가 동일한 경우, 에필로그에 GELU 활성화 함수가 포함된 경우입니다.

2.1.13. cuBLAS: 릴리스 12.2

• 알려진 문제

  • MPS를 100% 미만의 값으로 설정한 상태에서 사용 중이면 Hopper 아키텍처 GPU에서 cuBLAS 초기화가 실패합니다 CUDA_MPS_ACTIVE_THREAD_PERCENTAGE. 현재 이 문제에 대한 해결 방법은 없습니다.

  • CUBLASLT_EPILOGUE_RELU_BIAS일부 Hopper 커널은 or CUBLASLT_EPILOGUE_GELU_BIAS와 0이 아닌 값을 갖는 배치된 matmul에 대해 잘못된 결과를 생성합니다 CUBLASLT_MATMUL_DESC_BIAS_BATCH_STRIDE. 커널은 첫 번째 배치의 바이어스 벡터를 모든 배치에 적용합니다. 이 문제는 향후 릴리스에서 수정될 예정입니다.

2.1.14. cuBLAS: 릴리스 12.1 업데이트 1

• 새로운 기능

  • NVIDIA Ada GPU에서 FP8 지원.

  • NVIDIA L4 Ada GPU의 성능이 향상되었습니다.

  • cuBLASLt 라이브러리가 일부 CPU 명령어를 사용하지 않도록 지시하는 API를 도입했습니다. 이 API는 cuBLASLt 휴리스틱에서 사용되는 특정 CPU 명령어가 CPU 성능에 부정적인 영향을 미치는 드문 경우에 유용합니다. https://docs.nvidia.com/cuda/cublas/index.html#disabling-cpu-instructions 를 참조하세요 .

• 알려진 문제

  • 함수를 사용하여 행렬 레이아웃을 생성할 때 cublasLtMatrixLayoutCreate(), 가 가리키는 객체는 가 가리키는 객체 cublasLtMatrixLayout_t보다 작지만 cublasLtMatrixLayoutOpaque_t내부 구조를 유지하기에는 충분합니다. 따라서 객체를 명시적으로 역참조하거나 복사하면 경계를 벗어난 접근이 발생할 수 있으므로 이를 방지해야 합니다. 레이아웃을 직렬화하거나 복사해야 하는 경우, size sizeof(cublasLtMatrixLayoutOpaque_t)바이트 크기의 객체를 수동으로 할당하고 함수를 사용하여 초기화하는 것이 좋습니다. 및 도 cublasLtMatrixLayoutInit()마찬가지입니다 . 이 문제는 가 최소 바이트를 할당 하도록 하여 향후 릴리스에서 해결될 예정입니다 .cublasLtMatmulDesc_tcublasLtMatrixTransformDesc_tcublasLtMatrixLayoutCreate()sizeof(cublasLtMatrixLayoutOpaque_t)

2.1.15. cuBLAS: 릴리스 12.0 업데이트 1

• 새로운 기능

  • NVIDIA H100 SXM 및 NVIDIA H100 PCIe GPU의 성능이 향상되었습니다.

• 알려진 문제

  • NVIDIA Hopper 아키텍처에서 최적의 성능을 발휘하려면 cuBLAS가 이전 아키텍처(8MiB)보다 더 큰 내부 작업 공간(64MiB)을 할당해야 합니다. 현재 및 이전 릴리스에서 cuBLAS는 256MiB를 할당합니다. 이 문제는 향후 릴리스에서 해결될 예정입니다. 가능한 해결 방법은 CUBLAS_WORKSPACE_CONFIGNVIDIA Hopper 아키텍처에서 cuBLAS를 실행할 때 환경 변수를 :32768:2로 설정하는 것입니다.

• 해결된 문제

  • cublasLt 휴리스틱 캐시를 사용하지 않아 발생하는 cuBLAS 호스트 측 오버헤드를 줄였습니다. 이는 CUDA Toolkit 12.0 릴리스부터 적용되었습니다.

  • 작업 공간이 필요하지 않은 전방 호환 단정밀도 복합 GEMM이 추가되었습니다.

2.1.16. cuBLAS: 릴리스 12.0

• 새로운 기능

  • cublasLtMatmul이제 0이 아닌 베타로 FP8을 지원합니다.

  • 더 큰 규모의 문제를 처리할 수 있는 API가 추가되었습니다 . 64비트 정수 인터페이스int64 를 참조하세요 .

  • cublasLtMatmul에필로그를 위한 Hopper 특정 커널을 추가했습니다 .

    • CUBLASLT_EPILOGUE_BGRAD{A,B}

    • CUBLASLT_EPILOGUE_{RELU,GELU}_AUX

    • CUBLASLT_EPILOGUE_D{RELU,GELU}

  • 이전에는 Windows 및 Linux의 x86_64 아키텍처에서만 지원되었던 Hopper 커널을 추가하여 arm64-sbsa에서 Hopper 성능을 개선했습니다.

• 알려진 문제

  • 작업공간을 필요로 하지 않는 단정밀도 복소수 젬에 대한 상위 호환 커널은 없습니다. 이후 릴리스에서 지원이 추가될 예정입니다.

• 해결된 문제

  • cublasLtMatmulNVIDIA Ampere 아키텍처와 최신 GPU에서 에필로그 CUBLASLT_EPILOGUE_BGRAD{A,B}와 비자명한 감소 방식(즉, 아님 CUBLASLT_REDUCTION_SCHEME_NONE)을 사용하면 바이어스 그래디언트에 대해 잘못된 결과가 반환되는 문제를 해결했습니다 .

  • cublasLtMatmulgemv와 유사한 경우(즉, m 또는 n이 1인 경우)에는 CUBLASLT_EPILOGUE_RELU_BIAS및 CUBLASLT_EPILOGUE_BIAS에필로그에 대한 편향을 무시할 수 있습니다.

  사용 중단

  • 동일한 번역 단위에 cublas.h및 를 포함하는 것을 허용하지 않습니다 .cublas_v2.h

  • 제거됨:

    • CUBLAS_MATMUL_STAGES_16x80그리고 . 더 이상 이러한 단계 CUBLAS_MATMUL_STAGES_64x80를 cublasLtMatmulStages_t활용하는 커널은 없습니다.

    • cublasLt3mMode_t, CUBLASLT_MATMUL_PREF_MATH_MODE_MASK, 및 CUBLASLT_MATMUL_PREF_GAUSSIAN_MODE_MASK에서 cublasLtMatmulPreferenceAttributes_t. 대신 에서 해당 플래그를 사용하세요 cublasLtNumericalImplFlags_t.

    • CUBLASLT_MATMUL_PREF_POINTER_MODE_MASK, CUBLASLT_MATMUL_PREF_EPILOGUE_MASK, 및 CUBLASLT_MATMUL_PREF_SM_COUNT_TARGET에서 가져옵니다 cublasLtMatmulPreferenceAttributes_t. 해당 매개변수는 에서 직접 가져옵니다 cublasLtMatmulDesc_t.

    • CUBLASLT_POINTER_MODE_MASK_NO_FILTERING에서 . 이 마스크는 제거된 경우 cublasLtPointerModeMask_t에만 적용되었습니다 .CUBLASLT_MATMUL_PREF_MATH_MODE_MASK

2.2.1. cuFFT: 릴리스 12.9

• 사용 중단

  • cuFFT의 Maxwell, Pascal, Volta 지원은 더 이상 제공되지 않으며, 향후 CUDA 릴리스에서 제거될 예정입니다.

  • 버전이 지정된 심볼은 __cufftXtSetJITCallback_12_7더 이상 사용되지 않으며 향후 CUDA 릴리스에서 제거될 예정입니다.

  • 현재 링크 시간 최적화(LTO) cuFFT 커널은 최종화를 위해 nvJitLink를 필요로 합니다. 향후 릴리스에서는 LTO 커널 생성을 위한 추가 요구 사항으로 NVRTC가 추가될 예정입니다.

• 해결된 문제

  • 고정된 작업 공간 계산: 작은 소수로 인수분해될 수 있는 대부분의 작은 크기에 대해 필요한 작업 공간이 이제 0입니다.