随着机器学习 (ML) 数据集的大小和复杂性呈爆炸式增长，有效管理它们变得具有挑战性。虽然图形处理单元 (GPU) 因其原始训练速度而成为首选，但中央处理单元 (CPU) 仍然具有重要价值，尤其是在处理海量数据集时。

这篇文章介绍了在大规模机器学习背景下 CPU 和 GPU 架构的一些技术细节。我们将考虑核心架构差异，分析内存访问模式，并探索这些因素如何影响训练复杂模型和处理海量数据集的性能。通过了解每个处理器的优势和局限性，我们可以做出明智的决定，确定哪种硬件或两者的组合最适合我们特定的大型机器学习项目。

大型 ML 数据集的架构考虑因素

尽管 GPU 常常因其在特定任务中的卓越速度而受到称赞，但了解影响其在处理大型数据集时的性能的底层架构差异至关重要。

GPU 拥有数千个核心，而 CPU 只有少数几个。这些核心针对单指令多数据 (SIMD) 操作进行了优化，使其成为构成深度学习算法支柱的矩阵乘法的理想选择。相反，CPU 的核心较少，但拥有更高的时钟速度，使其非常适合顺序任务和通用计算。

处理器访问内存的方式与对并行处理的关注相得益彰。CPU 使用更大容量的系统 RAM，但这种内存比 GPU 中的高带宽片上内存 (VRAM) 慢。VRAM 可最大限度地减少数据传输延迟并加速计算，但其有限的容量可能会成为超出 GPU 内存的数据集的瓶颈。

这些架构差异对 CPU 和 GPU 处理大型数据集的方式有重大影响：

• 训练： GPU 凭借其并行处理能力，擅长训练复杂模型。然而，超过 GPU 内存容量的大型数据集可能会导致性能下降。

• 数据预处理：在将数据输入 GPU 进行训练之前，CPU 可以高效处理 ML 工作流程中常见的数据清理、操作和预处理任务。在此关键阶段，CPU 能够访问更大的系统 RAM，这对于管理海量数据集非常有利。

• 内存管理： CPU 中卓越的内存带宽可以缓解大规模数据操作期间遇到的 GPU 内存有限的瓶颈。

CPU 核心对于机器学习重要吗？

是的，CPU 核心对于机器学习非常重要，尤其是对于数据预处理、模型选择和处理大型数据集等任务。虽然 GPU 擅长训练复杂模型，但 CPU 可以高效管理这些预训练阶段，并利用其多个核心实现更快的顺序处理。

何时应使用 CPU 进行机器学习？

以下是 CPU 在 ML 工作流中表现良好的时候：

• 数据预处理和特征工程： CPU 是数据处理任务的主力。它们能够高效处理顺序指令，因此非常适合在将大量数据集输入 GPU 进行训练之前对其进行清理、转换和准备。这个预处理阶段对于确保训练过程的质量和效率至关重要。

• 模型选择和超参数调整：探索不同的模型和优化超参数通常需要进行多次试验和评估。CPU 可以高效处理这些迭代过程，让您无需完全依赖 GPU 资源即可试验和微调模型。

• 集成学习和可解释 AI：集成方法结合了多种模型和算法，因此可以使用 CPU，因为它们专注于顺序执行和通用计算。此外，CPU 更适合可解释 AI 技术，这些技术涉及理解模型的内部工作原理，因为这些任务通常依赖于逻辑和基于规则的方法。

• 成本效益：与 GPU 相比，CPU 通常更具成本效益。这对于注重预算的项目或处理不一定需要 GPU 计算速度的工作负载来说可能是一个重要因素。

虽然 GPU 最适合训练复杂模型，而 CPU 可用于 ML 工作流程的各个方面，但最佳方法是同时使用 CPU 和 GPU，以实现性能和成本效益的最佳平衡，以满足您的特定需求。您可以在捷智算平台上租用稀缺的云 GPU的 用于AI 和 HPC 加速。

如何将 CPU 与 TensorFlow 和 Keras 结合使用？

TensorFlow和 Keras 是构建机器学习模型的强大工具，为 CPU 和 GPU 提供无缝支持。然而，在处理大型数据集时，最大化 CPU 利用率对于高效训练至关重要。以下是优化 CPU 工作流程的十种策略，并通过代码片段进行了演示：

• 并行处理： TensorFlow 的内置功能可让您在 CPU 核心之间分配计算。这种并行化方法可有效划分工作负载，从而加速模型训练。

import tensorflow as tf

# Load your dataset dataset = tf.data.Dataset.from_tensor_slices(...)

# Define your data processing function def process_data(data):

    # ... your data processing logic here ... return processed_data

# Parallelize data processing across CPU cores

dataset = dataset.map(process_data, num_parallel_calls=tf.data.experimental.AUTOTUNE)

• 数据批处理：该方法可有效地将数据集分组为小批量。批处理通过对多个数据点的梯度进行平均来优化内存使用率并提高梯度下降的稳定性。

# Define your desired batch size

batch_size = 32

# Create batches from the preprocessed dataset

dataset = dataset.batch(batch_size)

• 使用 Keras 进行直接磁盘流式传输： Keras 的类支持使用迭代器直接从磁盘进行即时数据处理和增强。这样就无需将整个数据集加载到内存中，从而最大限度地减少了内存开销，使其成为大型数据集的理想选择。

from tensorflow.keras.preprocessing.image import ImageDataGenerator

# Define your data augmentation parameters

datagen = ImageDataGenerator(rotation_range=40, width_shift_range=0.2, height_shift_range=0.2)

# Create a data generator that reads images from disk

train_generator = datagen.flow_from_directory(

     'path/to/training/data',

     target_size=(img_height, img_width),

     batch_size=batch_size,

     class_mode='categorical'

)

• 整合优化的数学库：数学核心库 (MKL) 等库可以显著提高性能。使用 MKL 支持构建 TensorFlow 使其能够利用优化的例程执行矩阵乘法等关键运算。

注意：请查阅 TensorFlow 文档以了解适合您系统的 MKL 安装和配置。

• 将特定操作卸载到 CPU： TensorFlow 的指令允许您指定在 CPU 上运行的特定操作，特别是那些不严重依赖矩阵数学的操作，即使在基于 GPU 的设置中也是如此。

# Define your model here (excluding computationally expensive layers)

with tf.device('/cpu:0'):

    # Specify CPU for operations like data normalization or feature scaling

    normalized_data = tf.keras.layers.Normalization()(data)

# Continue defining your model using other layers

• 带缓存的内存管理： TensorFlow 的方法可以将数据存储在内存或本地存储中，从而可以在训练期间快速检索。当数据集对于 GPU 内存来说太大但适合系统 RAM 时，这可以最大限度地减少 CPU 空闲时间。

# Define a cache size (adjust based on available RAM)

cache_size = 10000

# Cache the preprocessed dataset

dataset = dataset.cache(cache_size)

• 使用 Keras 进行动态数据增强： Keras 支持实时数据增强技术，如旋转、翻转和移位。这使 CPU 能够动态生成各种训练示例，从而增强模型的泛化能力。

• 优化线程使用： TensorFlow 通过函数控制并行处理线程。调整并确保最佳 CPU 利用率，而不会出现线程争用问题。

注意：请参阅 TensorFlow 文档，根据您的 CPU 架构和工作负载选择适当的线程配置。

• 为重叠操作预取数据：转换允许 TensorFlow 在训练期间重叠数据预处理和模型执行。当模型在一个批次上进行训练时，输入管道可以同时读取和预处理下一个批次的数据。

# Define a prefetch buffer size (adjust based on CPU and disk speed)

prefetch_buffer_size = tf.data.experimental.AUTOTUNE

# Prefetch data for asynchronous execution dataset =

dataset.prefetch(prefetch_buffer_size)

• 提高 CPU 缓存利用率：将数据排列在连续的块中并尽量减少随机内存访问可以显著提高 CPU 缓存利用率。可以策略性地使用类似 的工具来平衡随机性和缓存局部性。

# Shuffle the dataset while maintaining some level of cache locality

dataset = dataset.shuffle(buffer_size=dataset_size,

reshuffle_each_iteration=True)

对于机器学习来说，CPU 还是 GPU 更重要？

CPU 和 GPU 在机器学习中都发挥着重要作用。GPU 提供更快的训练速度，尤其是对于具有大数据集的深度学习模型。然而，CPU 对于数据管理、预处理和经济高效地执行不需要 GPU 的任务更有价值。最好的方法通常是同时使用两者以获得平衡的性能。

这些策略将针对您的大型机器学习项目优化 TensorFlow 和 Keras 中的 CPU 性能。请记住根据数据集的大小、硬件功能和工作负载要求调整批处理大小、缓存大小和预取缓冲区大小等超参数。

选择云计算解决方案

在处理较大的数据集时，基础设施的选择变得至关重要。这就是云计算服务的作用所在，例如捷智算平台可以带来益处。我们多样化的功能提供了有利于处理大量数据的环境，无论您使用的是 CPU 还是 GPU。

捷智算平台提供可扩展的资源，这意味着您可以根据工作负载需求选择正确的配置。无论您需要高 CPU 实例来处理大型数据集，还是需要支持 GPU 的实例来进行并行处理，捷智算平台都能满足您的需求。

捷智算平台还确保资源的有效利用。它优化了 CPU 和 GPU 的使用率，减少了数据预处理过程中出现瓶颈的可能性。这样，无论数据集的大小如何，用户都可以最大限度地提高其 ML/DL 模型的性能。

虽然 GPU 通常比 CPU 更强大，但在某些情况下 CPU 的性能可以优于 GPU，尤其是在处理超出 GPU 内存的大型数据集时。