파이프라인 [젠킨스] 파이프라인 작업이 sh로 멈추는 문제 Jenkins Pipeline에서 sh가 중단되는 문제입니다. 이 문제를 해결하는 데는 이틀이 걸렸습니다. Jenkins 버전은 2.204.6 Jenkins 환경 변수 설정에서 PATH 대신 PATH + EXTRA를 사용합시다. 파이프라인 스크립트는 다음과 같습니다. 그러면 다음과 같은 로그를 할 수 있습니다. 멈출 때 작업의 Thread Dump를 살펴보면 다음과 같은 로그가 나옵니다. 이... 파이프라인Jenkins Reekoh에서 Sigfox 메시지를 Slack에 Webhook Sigfox 클라우드에서 콜백 만들기 Slack에서 Incoming Webhook 설정 세세한 조작 방법은 생략하지만, 작성하는 파이프라인은 아래 그림과 같습니다. Sigfox GW Sigfox 클라우드에서 Callback 받기 받은 장치 데이터를 Slack Webhook용 JSON으로 변환 Webhooks 각 플러그인 설정 Sigfox GW Sigfox 클라우드에서 Callback을 받을 ... Webhook파이프라인슬랙SigFoxReekoh Jenkins의 작업을 소스 코드로 버전 관리하고 싶습니다. 살펴보면 과거의 선인들의 기사가 몇 가지 나오지만, 내가 하고 싶은 일과는 조금씩 달랐기 때문에, 이것저것 해 보았던 일을 정리해 보았습니다. Jenkins 작업 설정 (및 파이프 라인 코드) 만 버전 관리하고 싶습니다. $JENKINS_HOME/jobs/{job-name}/config.xml 그렇지 않으면 버전 관리하지 않음 작업 작업 공간 사용자 정보 Jenkins의 운영 환경 구축 절차... 파이프라인Jenkins도커Git Jenkins Pipeline을 이용했을 때의 workspace의 장소 Jenkins2에서 Pipeline을 사용했다면 문득 workspace가 GUI에 표시되지 않는다는 것을 깨달았습니다. 빌드로 만든 성과물을 로컬로 떨어뜨리는데 편리했는데, , , 라고 생각해 조사했으므로 메모. 곧 접근할 수 있었고 편리했습니다 ... 작업 실행 결과 페이지로 전환 Pipeline Steps 클릭 Allocate node : Start를 클릭 여기에 있었다! 작업공간은 노드... Jenkins시gradle파이프라인자바 AWS로 CI/CD 파이프라인 구축하기 이 글은 github와 aws 개발자도구를 이용한 파이프라인 구축 과정입니다. S3에 버킷 생성 중복되지 않은 이름의 버킷을 생성한다. codebuild를 위한 build.yml 파일 생성 예시) 파이프라인 구성 이름 설정 후 깃헙 연결 빌드 프로젝트 생성, 환경이미지 설정 배포 스테이지 추가, 버킷 선택 AWS 개발자 도구 서비스를 이용해서 배포 자동화 파이프라인을 구축해야 한다. 시작하기... aws파이프라인aws Airflow CeleryExecutor 설치하기 @ Local Airbnb에서 만든 Workflow 관리 오픈소스 소프트웨어입니다. 많은 기업에서 데이터 파이프라인 운용에 인기 있게 사용되고 있습니다. DAGs(Directed Acyclic Graphs) 형태로 Workflow 수행합니다. MySQL 설치 Redis 설치 Airflow와 메타데이터를 저장할 MySQL 플러그인을 설치합니다. CeleryExecutor 사용을 위해서 Celery를 설치합니... airflow파이프라인CeleryExecutordataceleryMacOSworkflowdata pipeline데이터 파이프라인데이터pipeline로컬워크플로우CeleryExecutor [🤗 강좌 2.2] Pipeline 내부 실행 과정 다른 신경망(neural networks)과 마찬가지로 Transformer 모델은 원시 텍스트를 직접 처리할 수 없으므로 파이프라인의 첫번째 단계는 텍스트 입력을 모델이 이해할 수 있는 숫자로 변환하는 것입니다. 일단 위와 같이 토크나이저(tokenizer)를 생성하면, 아래의 코드에서 보는 것처럼, 이 토크나이저에 문장을 입력하여 모델에 바로 전달할 수 있는 파이썬 딕셔너리(diction... 파이프라인logitstokenizertransformerslogits
[젠킨스] 파이프라인 작업이 sh로 멈추는 문제 Jenkins Pipeline에서 sh가 중단되는 문제입니다. 이 문제를 해결하는 데는 이틀이 걸렸습니다. Jenkins 버전은 2.204.6 Jenkins 환경 변수 설정에서 PATH 대신 PATH + EXTRA를 사용합시다. 파이프라인 스크립트는 다음과 같습니다. 그러면 다음과 같은 로그를 할 수 있습니다. 멈출 때 작업의 Thread Dump를 살펴보면 다음과 같은 로그가 나옵니다. 이... 파이프라인Jenkins Reekoh에서 Sigfox 메시지를 Slack에 Webhook Sigfox 클라우드에서 콜백 만들기 Slack에서 Incoming Webhook 설정 세세한 조작 방법은 생략하지만, 작성하는 파이프라인은 아래 그림과 같습니다. Sigfox GW Sigfox 클라우드에서 Callback 받기 받은 장치 데이터를 Slack Webhook용 JSON으로 변환 Webhooks 각 플러그인 설정 Sigfox GW Sigfox 클라우드에서 Callback을 받을 ... Webhook파이프라인슬랙SigFoxReekoh Jenkins의 작업을 소스 코드로 버전 관리하고 싶습니다. 살펴보면 과거의 선인들의 기사가 몇 가지 나오지만, 내가 하고 싶은 일과는 조금씩 달랐기 때문에, 이것저것 해 보았던 일을 정리해 보았습니다. Jenkins 작업 설정 (및 파이프 라인 코드) 만 버전 관리하고 싶습니다. $JENKINS_HOME/jobs/{job-name}/config.xml 그렇지 않으면 버전 관리하지 않음 작업 작업 공간 사용자 정보 Jenkins의 운영 환경 구축 절차... 파이프라인Jenkins도커Git Jenkins Pipeline을 이용했을 때의 workspace의 장소 Jenkins2에서 Pipeline을 사용했다면 문득 workspace가 GUI에 표시되지 않는다는 것을 깨달았습니다. 빌드로 만든 성과물을 로컬로 떨어뜨리는데 편리했는데, , , 라고 생각해 조사했으므로 메모. 곧 접근할 수 있었고 편리했습니다 ... 작업 실행 결과 페이지로 전환 Pipeline Steps 클릭 Allocate node : Start를 클릭 여기에 있었다! 작업공간은 노드... Jenkins시gradle파이프라인자바 AWS로 CI/CD 파이프라인 구축하기 이 글은 github와 aws 개발자도구를 이용한 파이프라인 구축 과정입니다. S3에 버킷 생성 중복되지 않은 이름의 버킷을 생성한다. codebuild를 위한 build.yml 파일 생성 예시) 파이프라인 구성 이름 설정 후 깃헙 연결 빌드 프로젝트 생성, 환경이미지 설정 배포 스테이지 추가, 버킷 선택 AWS 개발자 도구 서비스를 이용해서 배포 자동화 파이프라인을 구축해야 한다. 시작하기... aws파이프라인aws Airflow CeleryExecutor 설치하기 @ Local Airbnb에서 만든 Workflow 관리 오픈소스 소프트웨어입니다. 많은 기업에서 데이터 파이프라인 운용에 인기 있게 사용되고 있습니다. DAGs(Directed Acyclic Graphs) 형태로 Workflow 수행합니다. MySQL 설치 Redis 설치 Airflow와 메타데이터를 저장할 MySQL 플러그인을 설치합니다. CeleryExecutor 사용을 위해서 Celery를 설치합니... airflow파이프라인CeleryExecutordataceleryMacOSworkflowdata pipeline데이터 파이프라인데이터pipeline로컬워크플로우CeleryExecutor [🤗 강좌 2.2] Pipeline 내부 실행 과정 다른 신경망(neural networks)과 마찬가지로 Transformer 모델은 원시 텍스트를 직접 처리할 수 없으므로 파이프라인의 첫번째 단계는 텍스트 입력을 모델이 이해할 수 있는 숫자로 변환하는 것입니다. 일단 위와 같이 토크나이저(tokenizer)를 생성하면, 아래의 코드에서 보는 것처럼, 이 토크나이저에 문장을 입력하여 모델에 바로 전달할 수 있는 파이썬 딕셔너리(diction... 파이프라인logitstokenizertransformerslogits