Sqoop 이상 ERROR 도구.ImportTool: Imported Failed: column not found
2094 단어 sqoop
20/07/22 13:44:42 INFO mapreduce.ImportJobBase: Transferred 111.0097 MB in 40.0756 seconds (2.77 MB/sec)
20/07/22 13:44:42 INFO mapreduce.ImportJobBase: Retrieved 1301733 records.
20/07/22 13:44:42 INFO manager.SqlManager: Executing SQL statement: SELECT t.* FROM [JOIN_UPLOADERROR] AS t WHERE 1=0
20/07/22 13:44:42 ERROR util.SqlTypeMap: It seems like you are looking up a column that does not
20/07/22 13:44:42 ERROR util.SqlTypeMap: exist in the table. Please ensure that you've specified
20/07/22 13:44:42 ERROR util.SqlTypeMap: correct column names in Sqoop options.
20/07/22 13:44:42 ERROR tool.ImportTool: Imported Failed: column not found: CANTONCODE
sqoop을 사용하여 sqlserver에서 데이터를 하이브로 내보내는 중입니다. sqoop 문장은 다음과 같습니다.
sqoop import --hive-import --connect ‘jdbc:sqlserver://ip:1433;username=xxxxxx;password=xxxxxx;database=xxxxxx’ --table JOIN_UPLOADERROR -m 1 --columns “CANTONCODE,YEAR,PERSONCODE,HEDINGCODE” --where “Year = ‘2018’” --hive-table db_test.Join_UploadError --hive-drop-import-delims --hive-overwrite --hive-partition-key dt --hive-partition-value 20200615 --null-non-string ‘\N’ --null-string ‘\N’ --delete-target-dir
인터넷에서 찾은 해결 방법은 필드와 표명을 모두 대문자로 쓰는 것이고, 테스트 후에도 오류가 해결되지 않았다.
해결 방법:
1. Navicat을 사용하여 테이블 생성문을 보고 CREATE TABLE [dbo].[Join_UploadError] ( [CantonCode] varchar(max) COLLATE Chinese_PRC_CI_AS NOT NULL, [Year] varchar(max) COLLATE Chinese_PRC_CI_AS NOT NULL, [PersonCode] varchar(max) COLLATE Chinese_PRC_CI_AS NOT NULL, [hedingcode] varchar(max) COLLATE Chinese_PRC_CI_AS NOT NULL) 2, sqoop 문장의 필드는 테이블 문장의 필드를 복사합니다. 다음과 같습니다. sqoop import --hive-import --connect'jdbc:sqlserver://ip:1433;username=xxxxxx;password=xxxxxxx;database=xxxxxx’ --table JOIN_UPLOADERROR -m 1 --columns “CantonCode,Year,PersonCode,hedingcode” --where “Year = ‘2018’” --hive-table db_test.JOIN_UPLOADERROR --hive-drop-import-delims --hive-overwrite --hive-partition-key dt --hive-partition-value 20200615 --null-non-string ‘\N’ --null-string ‘\N’ --delete-target-dir
최종 집행에 성공하다.
이 내용에 흥미가 있습니까?
현재 기사가 여러분의 문제를 해결하지 못하는 경우 AI 엔진은 머신러닝 분석(스마트 모델이 방금 만들어져 부정확한 경우가 있을 수 있음)을 통해 가장 유사한 기사를 추천합니다:
Sqoop 이상 ERROR 도구.ImportTool: Imported Failed: column not foundSqoop 가져오기 데이터가 Hive 열에 이상 없음: sqoop을 사용하여 sqlserver에서 데이터를 하이브로 내보내는 중입니다. sqoop 문장은 다음과 같습니다. sqoop import --hive-impo...
텍스트를 자유롭게 공유하거나 복사할 수 있습니다.하지만 이 문서의 URL은 참조 URL로 남겨 두십시오.
CC BY-SA 2.5, CC BY-SA 3.0 및 CC BY-SA 4.0에 따라 라이센스가 부여됩니다.