파이썬 트위터 API 없이 트위터 수집

트위터 후기 녹화할 때.

트위터의 표절은 반드시 없어서는 안 된다.하지만 트위터 API를 이용해 트위터를 수집하면 계정이 동결된다.

여러 계정을 전환해 트위터 API를 호출한 뒤에도 모두 동결된다.
트위터 API를 사용하지 않고 트위터를 수집할 수 있다면 이 문제는 해결된다.

트위터 방문

JSON은 이런 형식으로 방문하면 트위터를 받을 수 있다.
https://twitter.com/i/profiles/show/kabu01/timeline/tweets?include_available_features=1&include_entities=1&include_new_items_bar=true
해석이 귀찮아...

트위터 scraper를 이용하다

트위터 스크래퍼 라이브러리를 사용하면 트위터 API 없이 트위터를 수집할 수 있다.3시 6 이상 사용 가능합니다.

$ pip install twitter-scraper

설치만 하면 오류가 발생합니다.

File " path to /lib/python3.6/site-packages/twitter_scraper.py", line 42, in gen_tweets
replies = int(interactions[0].split(" ")[0].replace(comma, "").replace(dot,""))
ValueError: invalid literal for int() with base 10: '\n'

이러한 오류가 발생할 수 있으므로 다음과 같이 파일을 수정하십시오.
수정 전

replies = int(interactions[0].split(" ")[0].replace(comma, "").replace(dot,""))
retweets = int(interactions[1].split(" ")[0].replace(comma, "").replace(dot,""))

수정 후

try:
    replies = int(interactions[0].split(" ")[0].replace(comma, "").replace(dot, ""))
except ValueError:
    replies = 0

try:
    retweets = int(interactions[1].split(" ")[0].replace(comma, "").replace(dot, ""))
except ValueError:
    retweets = 0

트위터 수집

이렇게 사용합니다.

from twitter_scraper import get_tweets
for tweet in get_tweets('kabu01', pages=1):
    print(tweet)
    print("\n")

이렇게 하면 링크와 그림을 얻을 수 있습니다.

{'tweetId': '1087597341912125440', 'time': datetime.datetime(2019, 1, 22, 15, 26, 27), 
'text': '今日は長女の幼稚園で劇の発表会がありました。内容は何と「おおきなかぶ」（笑）\n劇のように今年は「大きな株」が抜けるでしょうか！？', 
'replies': 0, 'retweets': 0, 'likes': 10, 'entries': {'hashtags': [], 'urls': [], 'photos': [], 'videos': []}}


{'tweetId': '1085825146915479552', 'time': datetime.datetime(2019, 1, 17, 18, 4, 23), 
'text': '直近、こちらの２つの投資勉強会を申し込んだ。\n忘れないように記録しています。\nいつもYouTubeで坂本さんの動画を見ている。\nとても勉強になります。\n本人に会うことができて楽しみにしています。( ◠‿◠ )pic.twitter.com/0KamlaDJG3', 
'replies': 0, 'retweets': 0, 'likes': 4, 'entries': {'hashtags': [], 'urls': [], 
'photos': ['https://pbs.twimg.com/media/DxGgNYpVAAANxGu.jpg', 'https://pbs.twimg.com/media/DxGgNYnU0AATgfm.jpg'], 'videos': []}}


{'tweetId': '1087178896452141056', 'time': datetime.datetime(2019, 1, 21, 11, 43, 42), 
'text': '今月発売のDIME、2019年3月号「株で人生を変えた人に学ぶ勝ちワザ」に掲載されました。\n\n私は50ページに載りましたが、その他、著名な方も掲載されておりました。pic.twitter.com/C8TC7ADBeG', 
'replies': 0, 'retweets': 0, 'likes': 11, 'entries': {'hashtags': [], 'urls': [], 
'photos': ['https://pbs.twimg.com/media/DxZvcNHUYAEv3E9.jpg'], 'videos': []}}