VINS-Mono 소스 분석 4-vinsestimator3 (비선형 최적화)

VINS-Mono 소스 분석 4-vinsestimator3
초기화에 성공하면 프로그램은 다음과 같은 코드에 들어갑니다.

if(result)
{
    solver_flag = NON_LINEAR;
    solveOdometry();
    slideWindow();
    f_manager.removeFailures();
    ROS_INFO("Initialization finish!");
    last_R = Rs[WINDOW_SIZE];
    last_P = Ps[WINDOW_SIZE];
    last_R0 = Rs[0];
    last_P0 = Ps[0];
    
}

Solverflag 상태가 NON 으로 설정됨LINEAR 후 백엔드 비선형 최적화 Solve Odometry () 함수와 슬라이딩 창 처리 슬라이드 윈도 () 함수를 실행하고 특징점 관리자 f 삭제관리자의 깊이가 마이너스인 특징점, 마지막으로last 기록R、last_P、last_R0 및 lastP0.
다음은 SolveOdometry () 함수를 자세히 분석해 보겠습니다.

void Estimator::solveOdometry()
{
    if (frame_count < WINDOW_SIZE)
        return;
    if (solver_flag == NON_LINEAR)
    {
        TicToc t_tri;
        f_manager.triangulate(Ps, tic, ric);
        ROS_DEBUG("triangulation costs %f", t_tri.toc());
        optimization();
    }
}

triangulate () 함수는 VINS-mono 원본 분석 3-vins estimator2에서 이미 분석되었는데, 여기서 더 이상 군말하지 않지만, 이 함수를 다시 호출하는 목적은 특징점의 깊이를 세계 좌표계 아래의 이미지 프레임까지 갱신하는 것이다.다음에optimization() 함수를 분석하고,

ceres::Problem problem;
ceres::LossFunction *loss_function;
//loss_function = new ceres::HuberLoss(1.0);
loss_function = new ceres::CauchyLoss(1.0);

ceres 라이브러리 최적화 문제를 구축하고 손실 함수를 코시핵 함수로 정의하여

for (int i = 0; i < WINDOW_SIZE + 1; i++)
{
    ceres::LocalParameterization *local_parameterization = new PoseLocalParameterization();
    problem.AddParameterBlock(para_Pose[i], SIZE_POSE, local_parameterization);
    problem.AddParameterBlock(para_SpeedBias[i], SIZE_SPEEDBIAS); 
}
for (int i = 0; i < NUM_OF_CAM; i++)
{
    ceres::LocalParameterization *local_parameterization = new PoseLocalParameterization();
    problem.AddParameterBlock(para_Ex_Pose[i], SIZE_POSE, local_parameterization);
    //            
    if (!ESTIMATE_EXTRINSIC)
    {
        ROS_DEBUG("fix extinsic param");
        problem.SetParameterBlockConstant(para_Ex_Pose[i]);
    }
    else
        ROS_DEBUG("estimate extinsic param");
}

슬라이드 윈도우 내 모든 프레임의 비트, IMU의 속도 및 가계 팽이 오프셋 정보, IMU-카메라 간의 외부 참조 비트를 포함하여 매개변수 블록을 추가하고 IMU-카메라 간의 외부 참조 비트를 고정 매개변수 블록으로 설정합니다.

if (ESTIMATE_TD)
{
    problem.AddParameterBlock(para_Td[0], 1);
}

이 코드는 기본적으로 실행되지 않습니다.

vector2double();

void Estimator::vector2double()
{
    ......
    VectorXd dep = f_manager.getDepthVector();
    for (int i = 0; i < f_manager.getFeatureCount(); i++)
        para_Feature[i][0] = dep(i);
    if (ESTIMATE_TD)
        para_Td[0][0] = td;
}

이 코드는para 에게Pose、para_SpeedBias와paraEx_Pose 부여, 가장 중요한 것은 역깊이paraFeature.사실 여기는 잘 모르겠어요. 이치대로라면 파라에Pose、para_SpeedBias와paraEx_Pose에서 값을 부여하고 매개 변수 블록을 추가해야 하는데, 왜 이렇게 쓰는 프로그램도 정상적으로 실행되는지 모르겠습니다.

if (last_marginalization_info)
{
    MarginalizationFactor *marginalization_factor = new MarginalizationFactor(last_marginalization_info);
    problem.AddResidualBlock(marginalization_factor, NULL,
                             last_marginalization_parameter_blocks);
}

테두리화 잔차 정보를 정의하고 테두리화 잔차 블록을 첨가한다. 테두리화는 최적화 과정에서 구속의 역할을 할 뿐이므로 주의해야 한다.테두리화에 관해서는 전문적으로 블로그인 《VINS-Mono 원본 분석 5-vins estimator4》를 써서 소개하였는데, 여기서는 더 이상 설명하지 않겠다.

for (int i = 0; i < WINDOW_SIZE; i++)
{
    int j = i + 1;
    //            
    if (pre_integrations[j]->sum_dt > 10.0)
        continue;
    IMUFactor* imu_factor = new IMUFactor(pre_integrations[j]);
    problem.AddResidualBlock(imu_factor, NULL, para_Pose[i], para_SpeedBias[i], para_Pose[j], para_SpeedBias[j]);
}

IMU 잔차 정보를 정의하고 IMU 잔차 블록을 추가합니다.이 부분은 코드가factor 폴더 아래에 있는 IMUfactor.h 파일 중,

virtual bool Evaluate(double const *const *parameters, double *residuals, double **jacobians) const
{
    //  
    Eigen::Vector3d Pi(parameters[0][0], parameters[0][1], parameters[0][2]);
    Eigen::Quaterniond Qi(parameters[0][6], parameters[0][3], parameters[0][4], parameters[0][5]);

    Eigen::Vector3d Vi(parameters[1][0], parameters[1][1], parameters[1][2]);
    Eigen::Vector3d Bai(parameters[1][3], parameters[1][4], parameters[1][5]);
    Eigen::Vector3d Bgi(parameters[1][6], parameters[1][7], parameters[1][8]);

    Eigen::Vector3d Pj(parameters[2][0], parameters[2][1], parameters[2][2]);
    Eigen::Quaterniond Qj(parameters[2][6], parameters[2][3], parameters[2][4], parameters[2][5]);

    Eigen::Vector3d Vj(parameters[3][0], parameters[3][1], parameters[3][2]);
    Eigen::Vector3d Baj(parameters[3][3], parameters[3][4], parameters[3][5]);
    Eigen::Vector3d Bgj(parameters[3][6], parameters[3][7], parameters[3][8]);
    //    
    Eigen::Map<Eigen::Matrix<double, 15, 1>> residual(residuals);
    residual = pre_integration->evaluate(Pi, Qi, Vi, Bai, Bgi,
                                            Pj, Qj, Vj, Baj, Bgj);

    Eigen::Matrix<double, 15, 15> sqrt_info = Eigen::LLT<Eigen::Matrix<double, 15, 15>>(pre_integration->covariance.inverse()).matrixL().transpose();
        //sqrt_info.setIdentity();
    residual = sqrt_info * residual;
    //        
    if (jacobians)
    {
        ......
    }

    return true;
}

위의 코드는integration을 결합시켜야 한다base.h의 코드 읽기, 이론 지식은 최신의 글인 에서 3.3절의 내용을 참고한다.

int f_m_cnt = 0;
int feature_index = -1;
for (auto &it_per_id : f_manager.feature)
{
    it_per_id.used_num = it_per_id.feature_per_frame.size();
    if (!(it_per_id.used_num >= 2 && it_per_id.start_frame < WINDOW_SIZE - 2))
        continue;

    ++feature_index;

    int imu_i = it_per_id.start_frame, imu_j = imu_i - 1;
    
    Vector3d pts_i = it_per_id.feature_per_frame[0].point;

    for (auto &it_per_frame : it_per_id.feature_per_frame)
    {
        imu_j++;
        if (imu_i == imu_j)
        {
            continue;
        }
        Vector3d pts_j = it_per_frame.point;
        //     
        if (ESTIMATE_TD)
        {
               ......
        }
        else
        {
            ProjectionFactor *f = new ProjectionFactor(pts_i, pts_j);
            problem.AddResidualBlock(f, loss_function, para_Pose[imu_i], para_Pose[imu_j], para_Ex_Pose[0], para_Feature[feature_index]);
        }
        f_m_cnt++;
    }
}

비주얼 투영 잔차 정보를 정의하고 비주얼 투영 잔차 블록을 추가합니다.이 부분은 코드가factor 폴더 아래에 있는 프로젝트factor.cpp 파일에서

bool ProjectionFactor::Evaluate(double const *const *parameters, double *residuals, double **jacobians) const
{
    TicToc tic_toc;
    //  
    Eigen::Vector3d Pi(parameters[0][0], parameters[0][1], parameters[0][2]);
    Eigen::Quaterniond Qi(parameters[0][6], parameters[0][3], parameters[0][4], parameters[0][5]);

    Eigen::Vector3d Pj(parameters[1][0], parameters[1][1], parameters[1][2]);
    Eigen::Quaterniond Qj(parameters[1][6], parameters[1][3], parameters[1][4], parameters[1][5]);

    Eigen::Vector3d tic(parameters[2][0], parameters[2][1], parameters[2][2]);
    Eigen::Quaterniond qic(parameters[2][6], parameters[2][3], parameters[2][4], parameters[2][5]);

    double inv_dep_i = parameters[3][0];
    //         ,         
    Eigen::Vector3d pts_camera_i = pts_i / inv_dep_i;
    Eigen::Vector3d pts_imu_i = qic * pts_camera_i + tic;
    Eigen::Vector3d pts_w = Qi * pts_imu_i + Pi;
    Eigen::Vector3d pts_imu_j = Qj.inverse() * (pts_w - Pj);
    Eigen::Vector3d pts_camera_j = qic.inverse() * (pts_imu_j - tic);
    Eigen::Map<Eigen::Vector2d> residual(residuals);
//    else   
#ifdef UNIT_SPHERE_ERROR 
    residual =  tangent_base * (pts_camera_j.normalized() - pts_j.normalized());
#else
    double dep_j = pts_camera_j.z();
    residual = (pts_camera_j / dep_j).head<2>() - pts_j.head<2>();
#endif

    residual = sqrt_info * residual;
    //       
    if (jacobians)
    {
        ......
    }
    sum_t += tic_toc.toc();

    return true;
}

이론 지식은 최신의 글인'VINS논문 추도 및 코드 해석'중 3.4절의 내용을 참고한다.

if(relocalization_info)
    {
        ......
    }

매개변수 파일에서fastrelocalization의 값을 1로 설정해야 링이 검출될 때 실행됩니다.

ceres::Solver::Options options;

options.linear_solver_type = ceres::DENSE_SCHUR;
//options.num_threads = 2;
options.trust_region_strategy_type = ceres::DOGLEG;
options.max_num_iterations = NUM_ITERATIONS;
//options.use_explicit_schur_complement = true;
//options.minimizer_progress_to_stdout = true;
//options.use_nonmonotonic_steps = true;
if (marginalization_flag == MARGIN_OLD)
    options.max_solver_time_in_seconds = SOLVER_TIME * 4.0 / 5.0;
else
    options.max_solver_time_in_seconds = SOLVER_TIME;
TicToc t_solver;
ceres::Solver::Summary summary;
ceres::Solve(options, &problem, &summary);

ceres 구해의 일부 파라미터를 설정하여 교체 최적화를 하고 최적화를 기다리는 파라미터의 가장 좋은 결과를 찾습니다.

double2vector();

void Estimator::double2vector()
{
    ......
    //      ，    0       
    double y_diff = origin_R0.x() - origin_R00.x();
    //          
    Matrix3d rot_diff = Utility::ypr2R(Vector3d(y_diff, 0, 0));
    if (abs(abs(origin_R0.y()) - 90) < 1.0 || abs(abs(origin_R00.y()) - 90) < 1.0)
    {
        ROS_DEBUG("euler singular point!");
        rot_diff = Rs[0] * Quaterniond(para_Pose[0][6],
                                       para_Pose[0][3],
                                       para_Pose[0][4],
                                       para_Pose[0][5]).toRotationMatrix().transpose();
    }

    for (int i = 0; i <= WINDOW_SIZE; i++)
    {
        ......
        //      0        ，    
    }

    for (int i = 0; i < NUM_OF_CAM; i++)
    {
        ......
        //        
    }
    //     
    VectorXd dep = f_manager.getDepthVector();
    for (int i = 0; i < f_manager.getFeatureCount(); i++)
        dep(i) = para_Feature[i][0];
    f_manager.setDepth(dep);
    //     
    if (ESTIMATE_TD)
        td = para_Td[0][0];

    //    ，      euroc_config.yaml  fast_relocalization  0
    if(relocalization_info)
    { 
       ......
    }
}

코드 분석이 주석에 쓰여 있다.

if (marginalization_flag == MARGIN_OLD)
{
    ......
}
else
{
    ......
}

이 안의 코드는 매우 중요합니다. 다음 변두리화를 위한 준비 작업은 주로 선형화 잔차 rpr 를 업데이트하는 것입니다.prp와 선형화 야크비 행렬 Jp JpJp, 이들은 가장자리화의 제약으로 이해할 수 있다. 최신의 글인 에서 3.2절의 목표 함수 중의 rp r 를 참고한다.p rp 및 J p Jp Jp​.이 부분에 관해서는 전문적으로 블로그인 《VINS-Mono 원본 분석 5-vins estimator4》를 써서 소개하였는데, 여기서는 더 이상 설명하지 않겠다.
다음은 프로세스 이미지 () 함수로 돌아가서 슬라이드 윈도 () 함수를 분석하고 가장 오래된 프레임을 가장자리화할 때

double t_0 = Headers[0].stamp.toSec();
back_R0 = Rs[0];
back_P0 = Ps[0];

슬라이드 윈도우의 프레임 0에 대한 타임 스탬프, 회전 및 변환 정보를 저장합니다.

for (int i = 0; i < WINDOW_SIZE; i++)
{
    Rs[i].swap(Rs[i + 1]);

    std::swap(pre_integrations[i], pre_integrations[i + 1]);

    dt_buf[i].swap(dt_buf[i + 1]);
    linear_acceleration_buf[i].swap(linear_acceleration_buf[i + 1]);
    angular_velocity_buf[i].swap(angular_velocity_buf[i + 1]);

    Headers[i] = Headers[i + 1];
    Ps[i].swap(Ps[i + 1]);
    Vs[i].swap(Vs[i + 1]);
    Bas[i].swap(Bas[i + 1]);
    Bgs[i].swap(Bgs[i + 1]);
}
Headers[WINDOW_SIZE] = Headers[WINDOW_SIZE - 1];
Ps[WINDOW_SIZE] = Ps[WINDOW_SIZE - 1];
Vs[WINDOW_SIZE] = Vs[WINDOW_SIZE - 1];
Rs[WINDOW_SIZE] = Rs[WINDOW_SIZE - 1];
Bas[WINDOW_SIZE] = Bas[WINDOW_SIZE - 1];
Bgs[WINDOW_SIZE] = Bgs[WINDOW_SIZE - 1];

delete pre_integrations[WINDOW_SIZE];
pre_integrations[WINDOW_SIZE] = new IntegrationBase{acc_0, gyr_0, Bas[WINDOW_SIZE], Bgs[WINDOW_SIZE]};

dt_buf[WINDOW_SIZE].clear();
linear_acceleration_buf[WINDOW_SIZE].clear();
angular_velocity_buf[WINDOW_SIZE].clear();

슬라이딩 창의 순서가 이동합니다. 이 때 10 프레임이 도착하지 않았습니다. 따라서 10 프레임의 초기 처리 방식을 주의하십시오.

if (true || solver_flag == INITIAL)
{
    map<double, ImageFrame>::iterator it_0;
    it_0 = all_image_frame.find(t_0);
    
    delete it_0->second.pre_integration;
    it_0->second.pre_integration = nullptr;
    for (map<double, ImageFrame>::iterator it = all_image_frame.begin(); it != it_0; ++it)
    {
        if (it->second.pre_integration)
            delete it->second.pre_integration;
        it->second.pre_integration = NULL;
    }
    
    all_image_frame.erase(all_image_frame.begin(), it_0);
    all_image_frame.erase(t_0);
}

활창 밖의 모든 프레임의 예비 포인트preintegration 정보 삭제 비우기, 슬라이딩 창 밖의 모든 프레임 삭제,

slideWindowOld();

void Estimator::slideWindowOld()
{
    sum_of_back++;//           

    bool shift_depth = solver_flag == NON_LINEAR ? true : false;
    //      
    if (shift_depth)
    {
        Matrix3d R0, R1;
        Vector3d P0, P1;
        R0 = back_R0 * ric[0];//    0    
        R1 = Rs[0] * ric[0];//    1 ，    0 
        P0 = back_P0 + back_R0 * tic[0];
        P1 = Ps[0] + Rs[0] * tic[0];
        f_manager.removeBackShiftDepth(R0, P0, R1, P1);
    }
    //     
    else
        f_manager.removeBack();
}

슬라이더가 끝나면 피쳐 점 관리자 f관리자에 저장된 프레임 정보는 업데이트가 필요합니다. 구체적인 코드는removeBackShiftDepth()와removeBack() 함수입니다.

void FeatureManager::removeBackShiftDepth(Eigen::Matrix3d marg_R, Eigen::Vector3d marg_P, Eigen::Matrix3d new_R, Eigen::Vector3d new_P)
{
    for (auto it = feature.begin(), it_next = feature.begin();
         it != feature.end(); it = it_next)
    {
        it_next++;
        //   it       0 ,   
        if (it->start_frame != 0)
            it->start_frame--;
        else
        {
            //     it      
            Eigen::Vector3d uv_i = it->feature_per_frame[0].point;  
            it->feature_per_frame.erase(it->feature_per_frame.begin());
            //   it         2,   it
            if (it->feature_per_frame.size() < 2)
            {
                feature.erase(it);
                continue;
            }
            else
            {
                //     it    
                Eigen::Vector3d pts_i = uv_i * it->estimated_depth;
                Eigen::Vector3d w_pts_i = marg_R * pts_i + marg_P;
                Eigen::Vector3d pts_j = new_R.transpose() * (w_pts_i - new_P);
                double dep_j = pts_j(2);
                if (dep_j > 0)
                    it->estimated_depth = dep_j;
                else
                    it->estimated_depth = INIT_DEPTH;
            }
        }
    }
}

void FeatureManager::removeBack()
{
    for (auto it = feature.begin(), it_next = feature.begin();
         it != feature.end(); it = it_next)
    {
        it_next++;
        //   it       0 ,   
        if (it->start_frame != 0)
            it->start_frame--;
        else
        {
            //     it      
            it->feature_per_frame.erase(it->feature_per_frame.begin());
            //   it         0,   it
            if (it->feature_per_frame.size() == 0)
                feature.erase(it);
        }
    }
}

간략하게 분석하여 주석에 썼으니 이어서 아래로 읽어라!
새 프레임을 테두리화할 때

for (unsigned int i = 0; i < dt_buf[frame_count].size(); i++)
{
    double tmp_dt = dt_buf[frame_count][i];
    Vector3d tmp_linear_acceleration = linear_acceleration_buf[frame_count][i];
    Vector3d tmp_angular_velocity = angular_velocity_buf[frame_count][i];

    pre_integrations[frame_count - 1]->push_back(tmp_dt, tmp_linear_acceleration, tmp_angular_velocity);

    dt_buf[frame_count - 1].push_back(tmp_dt);
    linear_acceleration_buf[frame_count - 1].push_back(tmp_linear_acceleration);
    angular_velocity_buf[frame_count - 1].push_back(tmp_angular_velocity);
}

Headers[frame_count - 1] = Headers[frame_count];
Ps[frame_count - 1] = Ps[frame_count];
Vs[frame_count - 1] = Vs[frame_count];
Rs[frame_count - 1] = Rs[frame_count];
Bas[frame_count - 1] = Bas[frame_count];
Bgs[frame_count - 1] = Bgs[frame_count];

delete pre_integrations[WINDOW_SIZE];
pre_integrations[WINDOW_SIZE] = new IntegrationBase{acc_0, gyr_0, Bas[WINDOW_SIZE], Bgs[WINDOW_SIZE]};

dt_buf[WINDOW_SIZE].clear();
linear_acceleration_buf[WINDOW_SIZE].clear();
angular_velocity_buf[WINDOW_SIZE].clear();

슬라이더 처리 전 10 프레임과 9 프레임의 일부 정보를 합쳐서 슬라이더 처리 후 9 프레임의 일부 정보로 삼고 슬라이더 처리 전 10 프레임의 일부 다른 정보를 슬라이더 처리 후 9 프레임에 부여하고 마지막으로 슬라이더 처리 후 10 프레임에 초기 처리를 한다.

slideWindowNew()

void Estimator::slideWindowNew()
{
    sum_of_front++;
    f_manager.removeFront(frame_count);
}

void FeatureManager::removeFront(int frame_count)
{
    for (auto it = feature.begin(), it_next = feature.begin(); it != feature.end(); it = it_next)
    {
        it_next++;
        //   it      10 ,   
        if (it->start_frame == frame_count)
        {
            it->start_frame--;
        }
        else
        {
            //     9        it     
            int j = WINDOW_SIZE - 1 - it->start_frame;
            if (it->endFrame() < frame_count - 1)
                continue;
            it->feature_per_frame.erase(it->feature_per_frame.begin() + j);
             //   it         0,   it
            if (it->feature_per_frame.size() == 0)
                feature.erase(it);
        }
    }
}

슬라이더가 끝나면 피쳐 점 관리자 f관리자에 저장된 프레임 정보를 업데이트해야 합니다.
이어서 프로세스 Image () 함수로 돌아가서 아래로 분석합니다

f_manager.removeFailures();

void FeatureManager::removeFailures()
{
    for (auto it = feature.begin(), it_next = feature.begin();
         it != feature.end(); it = it_next)
    {
        it_next++;
        if (it->solve_flag == 2)
            feature.erase(it);
    }
}

피쳐 점 관리자의 모든 깊이 값이 음수인 피쳐 점을 지웁니다.