本稿では、パイプラインを用いた確率的勾配降下法（SGD）アルゴリズム及びメモリ分散構造を有するハードウェアアーキテクチャを提案する。本提案では、従来マルチスレッド型データ並列処理と異なり、ウェイト更新・共有I/Oデータバス用のパラメータサーバが不要でメモリ帯域幅を大幅に削減し、各段の演算器にレイヤブロックを基準としてウェイトメモリを分散保持する。VGG-Fモデルでバッチ数32の場合、パイプライン並列4段においてウェイト係数に掛かるメモリ容量2.25GB及び順伝搬/逆伝搬バンド幅最大36.3MB/Batchの低メモリ帯域幅により、従来のデータ並列に比べそれぞれ41%及び97%の削減効果を達成した。