datacamp 8-1. Downloading Data on the Command Line command Line을 통해 웹서버에서 데이터 파일을 다운로드하는 방법 1. Downloading data using curl 2. Downloading data using Wget 3. Advanced downloading using Wget HTTP 사이트 및 FTP 서버에서 데이터를 다운로드하는 데 자주 사용됨. man curl을 사용하여 curl 설치 확인 curl은 HTTP, HT... datacampData Engineer가짜연구소Data Engineer 8-4. Data Pipeline on the Command Line 가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 8코스-4) Data Pipeline on the Command Line 를 수강하고 그에 관련 내용을 적어보았다. 사례 연구로 Python을 사용하여 명령줄에서 Python을 실행하고, 패키지 관리자 pip를 사용하여 종속성을 설치하고, 명령줄을 사용하여 전체 모델 파이프라인을 빌드하는 방법을 배웁니다. 1. Python on the c... datacampdata enigneer가짜연구소data enigneer 8-3. Database Operations on the Command Line 가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 8코스-3) Database Operations on the Command Line 를 수강하고 그에 관련 내용을 적어보았다. 특히 테이블 생성, 데이터 풀 및 다양한 ETL 변환을 포함하여 명령줄에서 수행할 수 있는 데이터베이스 작업에 중점을 둡니다. 모르는 부분이나 헷갈렸던 부분은 계속 추가될 수 있다! Database Operatio... datacampData Engineer가짜연구소Data Engineer 8-2. Data Cleaning and Munging on the Command Line 가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 8코스-2) Data Cleaning and Munging on the Command Line 를 수강하고 그에 관련 내용을 적어보았다. command Line csvkit를 사용하여 추가 분석을 위한 데이터 준비하기 위해 파일을 변환, 미리보기, 필터링 조작을 배웁니다. 2. Filtering data using csvkit csvkit... datacampData Engineer가짜연구소Data Engineer Unit testing for Data Science in Python API ref: Assert: 뒤의 조건이 true가 아니면 asserterror 리턴 ref: general information test result F : failure (an exception is raised) . : passed information about failed tests data module feature module models module unit test unit... datacamppythonData ScienceData Science 1-1. Columns 선택하기 SQL을 처음 접하는 여러분을 환영합니다🌠🌠🌠 처음 접하지 않는 분들도 환영 (; 바로 본론으로 들어가서 SQL의 Syntax를 배워봅시다! 💗 SQL 기본 명령문 SQL의 ⭐기본 명령문⭐은 다음과 같습니다 SELECT SQL이 실행되는 순서는 FROM에서부터 SELECT, 그 이후로는 WHERE에서부터 차례로 진행됩니다. 쿼리문의 경우 SELECT와 FROM은 필수로 요구되는 명령문입니다.... sqldatacampcolumnscolumns Data Processing in Shell 옵션 - --의 차이 refs: - : 축약 -- : 서술형 supported by sql2csv : firebird, microsoft sql server, mysql, postgresql not MongoDB $ : shell variable pip list crontab -l... DataEngineeringdatacampDataEngineering Introduction to Bash Scripting bash and sh are two different shells of the Unix operating system. bash is sh, but with more features and better syntax. Bash is “Bourne Again SHell”, and is an improvement of the sh (original Bourne shell). Shell script... DataEngineeringdatacampDataEngineering TIL_71. Numpy (1) Numpy는 array를 생성하고 이 array를 통해 색인, 처리, 연산을 하는데 사용한다. import numpy [as ~] array numpy.array(리스트) list를 array로 변환하여 사용한다. 사용 예시 array와 list의 차이 list는 연산 시에 목록 내 요소들을 개별로 구분하는 것이 아닌, 하나의 큰 요소로 인식하여 연산처리 한다. array는 연산 시에 목록 ... TILdatacamppythonTIL TIL_82. Intermediate Python(4) while 은 언뜻 보면 if 와 비슷해 보인다. 하지만 while 은 조건이 충족되는 한 반복해서 지정된 행동을 수행한다는 것에서 차이가 있다. Add conditionals while 문에도 if 와 else 를 추가하여 부가 조건을 부여할 수 있다. Loop over a list 반복문의 종류로는 while 뿐만 아니라 for 도 존재한다. 리스트에 포함된 데이터를 각각 나열하고 싶을 ... datacamppythonTILTIL
8-1. Downloading Data on the Command Line command Line을 통해 웹서버에서 데이터 파일을 다운로드하는 방법 1. Downloading data using curl 2. Downloading data using Wget 3. Advanced downloading using Wget HTTP 사이트 및 FTP 서버에서 데이터를 다운로드하는 데 자주 사용됨. man curl을 사용하여 curl 설치 확인 curl은 HTTP, HT... datacampData Engineer가짜연구소Data Engineer 8-4. Data Pipeline on the Command Line 가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 8코스-4) Data Pipeline on the Command Line 를 수강하고 그에 관련 내용을 적어보았다. 사례 연구로 Python을 사용하여 명령줄에서 Python을 실행하고, 패키지 관리자 pip를 사용하여 종속성을 설치하고, 명령줄을 사용하여 전체 모델 파이프라인을 빌드하는 방법을 배웁니다. 1. Python on the c... datacampdata enigneer가짜연구소data enigneer 8-3. Database Operations on the Command Line 가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 8코스-3) Database Operations on the Command Line 를 수강하고 그에 관련 내용을 적어보았다. 특히 테이블 생성, 데이터 풀 및 다양한 ETL 변환을 포함하여 명령줄에서 수행할 수 있는 데이터베이스 작업에 중점을 둡니다. 모르는 부분이나 헷갈렸던 부분은 계속 추가될 수 있다! Database Operatio... datacampData Engineer가짜연구소Data Engineer 8-2. Data Cleaning and Munging on the Command Line 가짜연구소 dsf-2기로 활동중이며, 데이터 엔지니어 8코스-2) Data Cleaning and Munging on the Command Line 를 수강하고 그에 관련 내용을 적어보았다. command Line csvkit를 사용하여 추가 분석을 위한 데이터 준비하기 위해 파일을 변환, 미리보기, 필터링 조작을 배웁니다. 2. Filtering data using csvkit csvkit... datacampData Engineer가짜연구소Data Engineer Unit testing for Data Science in Python API ref: Assert: 뒤의 조건이 true가 아니면 asserterror 리턴 ref: general information test result F : failure (an exception is raised) . : passed information about failed tests data module feature module models module unit test unit... datacamppythonData ScienceData Science 1-1. Columns 선택하기 SQL을 처음 접하는 여러분을 환영합니다🌠🌠🌠 처음 접하지 않는 분들도 환영 (; 바로 본론으로 들어가서 SQL의 Syntax를 배워봅시다! 💗 SQL 기본 명령문 SQL의 ⭐기본 명령문⭐은 다음과 같습니다 SELECT SQL이 실행되는 순서는 FROM에서부터 SELECT, 그 이후로는 WHERE에서부터 차례로 진행됩니다. 쿼리문의 경우 SELECT와 FROM은 필수로 요구되는 명령문입니다.... sqldatacampcolumnscolumns Data Processing in Shell 옵션 - --의 차이 refs: - : 축약 -- : 서술형 supported by sql2csv : firebird, microsoft sql server, mysql, postgresql not MongoDB $ : shell variable pip list crontab -l... DataEngineeringdatacampDataEngineering Introduction to Bash Scripting bash and sh are two different shells of the Unix operating system. bash is sh, but with more features and better syntax. Bash is “Bourne Again SHell”, and is an improvement of the sh (original Bourne shell). Shell script... DataEngineeringdatacampDataEngineering TIL_71. Numpy (1) Numpy는 array를 생성하고 이 array를 통해 색인, 처리, 연산을 하는데 사용한다. import numpy [as ~] array numpy.array(리스트) list를 array로 변환하여 사용한다. 사용 예시 array와 list의 차이 list는 연산 시에 목록 내 요소들을 개별로 구분하는 것이 아닌, 하나의 큰 요소로 인식하여 연산처리 한다. array는 연산 시에 목록 ... TILdatacamppythonTIL TIL_82. Intermediate Python(4) while 은 언뜻 보면 if 와 비슷해 보인다. 하지만 while 은 조건이 충족되는 한 반복해서 지정된 행동을 수행한다는 것에서 차이가 있다. Add conditionals while 문에도 if 와 else 를 추가하여 부가 조건을 부여할 수 있다. Loop over a list 반복문의 종류로는 while 뿐만 아니라 for 도 존재한다. 리스트에 포함된 데이터를 각각 나열하고 싶을 ... datacamppythonTILTIL