Gradient Descent: The Stochastic Update

Градиентный спуск: стохастическое обновление

функция train:

• Она принимает входные данные X, метки Y, веса weights, смещения bias, и скорость обучения learning_rate.
• Вложенный for цикл выполняется с внешним циклом, который инициализируется с помощью epochs. Внутренний цикл инициализируется длиной обучающих примеров len(X). Мы обновляем веса и смещение после повторения одного обучающего примера. Внутри внутренней итерации:
  • Вызывается функция forward_propagation для вычисления прогнозируемого значения и сохраняет возвращаемое значение в Y_predicted.
  • Вызывается функция compute_error для вычисления ошибки в каждую эпоху и сохраняет значение в sum_error.
  • Вызывается функция gradient для вычисления градиента ошибки относительно веса и смещения.
  • Вызывается функция update_parameters, которая возвращает обновленное значение весов и смещения.

функция forward_propagation:

• Она принимает входную переменную X и вес weights, затем вычисляет скалярное произведение, используя np.dot и добавляет смещение для вычисления взвешенной суммы.
• Применяется sigmoid к вычисленной взвешенной сумме.

функция calculate_error:

• Функция принимает фактическую метку y и прогнозируемое значение y_predicted (после применения сигмоидной функции активации) и возвращает значение двоичной кросс-энтропийной потери.

функция gradient:

• Функция принимает фактическую метку Y, прогнозируемое значение Y_predicted и входное значение X. Онa вычисляет ошибку, беря разницу между целевым и выходным значениями.
• Онa вычисляет производную ошибки по весу dW, взяв произведение ошибки и ввода X.
• Производная ошибки по смещению db- это ошибка.

функция update_parameters:

• Функция принимает параметры, веса W и смещение b вместе с их производными dW и, db соответственно, применяет правило обновления.
• Этот метод обновления весов известен как стохастический градиентный спуск.