GameObject target;//追いかけるターゲット
GameObject enemy;//避ける敵（使わなかった）

public override void CollectObservations()
{
    AddVectorObs(transform.position); //自身の位置
    AddVectorObs(transform.rotation); //自身の向き
    AddVectorObs(target.transform.position - transform.position); //ターゲットまでの相対位置
    AddVectorObs(enemy.transform.position- transform.position); //敵までの相対位置（使わなかった）
    AddVectorObs(otherDistance); //正面上下左右の一定距離内の他の仲間との距離
}

Rigidbody rb;

public override void AgentAction(float[] vectorAction, string textAction)
{
    float speed = 4f;

    rb.velocity = speed * transform.forward;//正面に一定速度で進む

    float actionX = speed * Mathf.Clamp(vectorAction[0], -1f, 1f); //左右回転情報として扱った
    float actionZ = speed * Mathf.Clamp(vectorAction[1], -1f, 1f); //上下回転情報として扱った

    //ここで強化学習の制御を反映している。今回は上下左右の回転制御にのみ利用。
    transform.rotation = transform.rotation* Quaternion.Euler(new Vector3(actionZ, actionX, 0)); 

    CheckOtherDistance(); //正面上下左右に他の仲間がいるか調べる。下記参照
    SetReward(); //条件に応じて報酬を設定する。下記参照
}

[SerializeField]
LayerMask mask;//チェック対象レイヤーを限定しておく

 void CheckOtherDistance() {
    //初期化
    for(int i=0;i<otherDistance.Length; i++){
        otherDistance[i] = 0;
    }

    float rayDistance = 2.0f;

    //正面チェック
    Ray ray = new Ray(transform.position, transform.forward);
    RaycastHit hit;
    if (Physics.Raycast(ray, out hit, rayDistance, mask)) {
        otherDistance[0] = hit.distance;
    }

    //右方向チェック
    ray.direction = transform.right;
    if (Physics.Raycast(ray, out hit, rayDistance, mask)) {
        otherDistance[1] = hit.distance;
    }

    //左、上、下もPhysics.Raycastで同様にチェック

}

int flyCnt=0;//移動カウント。
float targetDist;//ターゲットとの距離。前フレームと比較して近づいているかどうかの判定に使う

void SetReward() {

    flyCnt++;

    //Bodyがひっくり返ってないかチェック。姿勢がちゃんとしてればより高報酬。
    float rDistance = Vector3.Distance(new Vector3(0,1,0), transform.up.normalized);
    if (rDistance < 1) {
        AddReward((1 - rDistance) * 0.01f);
    }

    //ターゲットを向いているかチェック。ターゲットを向いていればいるほど高報酬。
    Vector3 targetVector = (target.transform.position - transform.position).normalized;
    float vDistance = Vector3.Distance(targetVector, transform.forward);
    AddReward((1- vDistance) * 0.05f);

    float nowDist = Vector3.Distance(target.transform.position, transform.position);

    //前フレームよりターゲットに近づけば微報酬。もしかしたらなくても良かったかもしれない
    if (nowDist < targetDist) {
        AddReward(0.01f);
    }
    //flyCnt が一定以上経った状態で離れたところにいる場合は移動失敗とみなして最大マイナス報酬してDone!。
    else if (flyCnt > 300 && nowDist > 150) {
        AddReward(-1);
        Done();
    }
    targetDist = nowDist;

    //ターゲットに最接近したらゴールとして最大報酬してDone!。
    if (nowDist < 1f) {
        AddReward(1f);
        Done();
    }

    //正面の上下左右に他の仲間がいたらマイナス報酬。raycastで反応があればotherDist が0より大きくなるようにしているので0より大きいかどうかだけで判定した。
    foreach (float otherDist in otherDistance) {
        if (otherDist > 0) {
            AddReward(-0.01f);
        }
    }
}

public override void AgentReset()
{
    //AgentResetの際に、位置と向きをランダムに指定して、どの向き・どの位置からでも対応できるようにした
    float positionRange = 20f;
    float angleRange = 180f;
    flyCnt = 0;
    transform.position = new Vector3(Random.Range(-positionRange, positionRange), Random.Range(-positionRange, positionRange), Random.Range(-positionRange, positionRange));
    transform.rotation = Quaternion.Euler(new Vector3(Random.Range(-angleRange, angleRange), Random.Range(-angleRange, angleRange), Random.Range(-angleRange, angleRange)));
    targetDist = Vector3.Distance(target.transform.position, transform.position);
}