JAX

JAX是什么

JAX是Google推出的高性能数值计算库，提供类似NumPy的API，支持GPU/TPU加速、自动微分、即时编译（JIT）和向量化等功能。JAX通过XLA（加速线性代数）编译器优化代码，显著提升运行效率，在大规模数据处理和机器学习中表现突出。JAX支持自动微分，能轻松计算函数梯度，适用于优化算法。JAX的异步执行模式和不可变数组设计使其在性能和可靠性上优于传统NumPy，是现代科学计算和机器学习研究中的重要工具。

JAX的主要功能

• 自动微分：通过jax.grad等函数自动计算函数的梯度，支持高阶导数，广泛应用在机器学习中的模型训练。
• 即时编译（JIT）：用jax.jit将Python函数编译成优化后的机器代码，显著提升运行效率，在大规模计算中效果显著。
• 向量化：通过jax.vmap自动将函数向量化，避免手动循环，提高代码效率和可读性。
• 并行化：用jax.pmap支持跨多个设备（如GPU、TPU）的并行计算，加速大规模任务处理。
• 硬件加速：支持在CPU、GPU和TPU上运行代码，充分利用硬件的并行计算能力。
• 程序变换：提供丰富的程序变换工具，如jax.lax，用在构建更复杂的程序逻辑，提升代码灵活性和扩展性。

如何使用JAX

• 环境配置与安装：
  • 创建Python环境：用conda创建一个专用的Python环境。

conda create -n jax_test python=3.13 -y
conda activate jax_test

• • 安装JAX库：根据硬件配置选择合适的JAX版本。

pip install jupyter numpy "jax[cuda12]" matplotlib pillow

• 使用JAX的主要功能：
  • 自动微分：使用jax.grad自动计算函数的梯度。

import jax
import jax.numpy as jnp

def cubic_sum(x):
    return jnp.sum(x**3)

grad_cubic_sum = jax.grad(cubic_sum)
x_input = jnp.arange(1.0, 5.0)
gradient = grad_cubic_sum(x_input)
print("梯度 df/dx:", gradient)

• • 即时编译（JIT）：用jax.jit将函数编译成优化后的机器代码。

@jax.jit
def selu_jax_jit(x):
    return 1.0507 * jnp.where(x > 0, x, 1.67326 * jnp.exp(x) - 1.67326)

x_jax = jnp.random.normal(jax.random.PRNGKey(0), (10000, 10000))
result_jax_jit = selu_jax_jit(x_jax)

• • 向量化：使用jax.vmap自动将函数向量化。

def mat_vec_product(matrix, vector):
    return jnp.dot(matrix, vector)

batched_mat_vec = jax.vmap(mat_vec_product, in_axes=(None, 0))
matrix_jax = jnp.random.normal(jax.random.PRNGKey(0), (10000, 10000))
vectors_jax = jnp.random.normal(jax.random.PRNGKey(1), (128, 10000))
result_vmap = batched_mat_vec(matrix_jax, vectors_jax)