Keras 3 API 文件 / 多裝置分佈 / DataParallel API

DataParallel API

[原始碼]

DataParallel 類別

keras.distribution.DataParallel(
    device_mesh=None, devices=None, auto_shard_dataset=True
)

用於資料平行化的分佈。

您可以選擇透過指定 device_meshdevices 參數(但不能同時指定)來建立此實例。

device_mesh 參數應為 DeviceMesh 實例,且預期僅為一維。如果網格有多個軸,則第一個軸將被視為資料平行維度(並將引發警告)。

當提供 devices 列表時,它們將被用於建構一維網格。

meshdevices 都不存在時,將使用 list_devices() 來偵測任何可用的裝置並從它們建立一維網格。

參數

  • device_mesh:可選的 DeviceMesh 實例。
  • devices:可選的裝置列表。
  • auto_shard_dataset:自動在進程之間分片資料集。預設為 true。