[복전학습록] 앱 제작 파트11[38일째]

복식 학습록은 무엇입니까?
어머니가 공부하신 비망록.
유형적인 형태로 남아 의욕을 보이는 개인 작전이다.
다른 사람에게 보여주려고 쓴 것이 아니어서 읽기가 어렵다.
독서
데이터베이스 엔지니어 교육 독본 [DB의 활용 가능한 지식과 기술 노하우가 수록되어 있음]
제로에서부터 만들다
PHP 프레임CakePHP3 시작하기
SQL 역모드
Docker 시작
지금 읽고 있는 책.
없음
응용 프로그램 제작
진도
사적인 일이 많아서 별로 안 했어요.
우선, 아래의 빨간 상자 부분의 덮어쓰기 부분을 완성했습니다.(docker 용기의 환경 구축과scrapy,selenium에서 정보를 얻습니다)
여기서부터 scrapy에서 mysql로 정보를 얻는 정보를 복제합니다.

스크래치에서 리메이크하는 대상 사이트의 추가는 현재 CUI 명령으로 진행되고 있지만 가능하면 GUI(또는 브라우저에서 화면을 관리하는 곳)에서 진행하고 싶어요.
이렇게 되면
① scrapy Django 내에서 작동
② 딩고를 통해 스크랩 미션 제작 화면 만들기
(구체적으로'새 스파이더 만들기'와'클론 실행 시간 제어'를 관리할 수 있다)
③ scrapy에서 수집한 정보를 MySQL에 전달한다.
상술한 절차가 괜찮은 것 같다(내 생각엔)
고민하는 부분.
고민거리(또는 경험이 적어 최선의 실천이 무엇인지 모른다)는 부분은 다음과 같다.
첫번째
scrapy와 Django는 반드시 다른 용기로 만들어야 한다는 것을 깨달았습니까?
"Django 쪽에서 scrapy를 조작한다"는 대응이 맞습니까?
두번째
scrapy에서 얻은 정보를 RDB에 쓰는 방법은
① scrapy 내부는 csv로 임시로 저장됩니다.이후 csv 파일을 Django 측에 잠시 건네주고 이 정보를 바탕으로 MySQL에 한꺼번에 입력합니다 "
② scrapy에서 클론을 실행할 때마다 RDB에 복제됩니다.
상술한 두 가지 중 어느 것이 좋습니까?
(제 개인적인 견해로는 ①의 효율성이 좋은 것 같아서 더 좋은 것 같습니다. 같은 정보를 얻었는지는 커튼을 실행한 후에 밝혀지기 때문에 RDB에 정보를 저장할 때마다 효율이 변하지 않습니다.)
상술한 것은 회사의 선배와 상의해 보자.
selenium 오류
spider를 실행한 후, 다음 오류가 발생하고 spider가 멈추는 이벤트가 발생했습니다.

selenium.common.exceptions.WebDriverException: Message: unknown error: session deleted because of page crash

그리고 같은 지령을 입력해도 때로는 오류가 발생하고 때로는 하지 않는 경우가 골치 아프다.
찾아보니 메모리 부족 때문인 것 같아요.
Capybara의 e2e 테스트에서 Chrome Selenium: WebDriver: 때로는 Error가 붕괴될 수도 있습니다
어쨌든 도커에게 분배되는 자원이 증가했습니다.나는 이렇게 해결할 수 있기를 바란다.
오늘 한마디
마지막 기도는 이미 끝났다.안 되는 엔지니어...
계속 정진하세요.