미니프로젝트(1) - 벅스 크롤링

알라딘 추천 도서에서 이미지, 제목, 작가, 가격 등을 크롤링 해오려 했지만 제목 이외의 것들에는 class 값이 따로 지정되지 않아서 가져올 수가 없었다. 물론 방법이 있었을 지도 모르지만! 그래서 벅스로 방향을 틀었다.

 

 

 

벅스 > 곡 차트 > 실시간 순위에서 

순위, 곡 제목, 가수명 을 가져와 보겠당

 

import requests

from bs4 import BeautifulSoup

URL = 'https://music.bugs.co.kr/chart'

headers = {'User-Agent' : 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'}

data = requests.get(URL,headers=headers)

soup = BeautifulSoup(data.text, 'html.parser')

그전에 기본 셋팅으로 필요한 프로그램 싹 깔아주고 url도 맞게 넣어주었다.

 

 

 

검사를 해보니 곡 정보들이 tr태그 안에 하나씩 들어가 있다.

trs = soup.select('#CHARTrealtime > table > tbody > tr')

tr에 있는 정보들을 꺼내와서 trs라는 통에 넣어주고 실행시켜보니 수많은 정보들이 주욱 잘 나타난다.

 

for tr in trs:

    title = tr.select_one('.title').text.strip()

    rank = tr.select_one('.ranking > strong').text.strip()

    artist = tr.select_one('.artist > a').text

    print(rank,title,artist)

 

그 안에서도 제목, 순위, 가수명만 가져온다.

곡 제목이 들어있는 class의 명은 title

랭킹은 ranking

하지만 ranking만 입력했을 때에는 다른 정보들도 나와서  > strong까지 적어줌!

필요없는 띄어쓰기와 다른 정보들은 제외하기 위해서 .text.strip()도 입력~

 

1 Spicy aespa
2 퀸카 (Queencard) (여자)아이들
3 I AM IVE (아이브)
4 UNFORGIVEN (feat. Nile Rodgers) LE SSERAFIM (르세라핌)
5 Kitsch IVE (아이브)
6 손오공 세븐틴(SEVENTEEN)
7 Cupid FIFTY FIFTY
8 꽃 지수(JISOO)
9 Ditto NewJeans
10 KNOCK 이채연
11 Hype Boy NewJeans
12 Thirsty aespa
13 Teddy Bear STAYC(스테이씨)
14 Allergy (여자)아이들
15 OMG NewJeans
16 Dangerously Charlie Puth(찰리 푸스)
17 I Don’t Think That I Like Her Charlie Puth(찰리 푸스)
18 After LIKE IVE (아이브)
19 Attention NewJeans
20 사건의 지평선 윤하(Younha/ユンナ)
21 ANTIFRAGILE LE SSERAFIM (르세라핌)
22 헤어지자 말해요 박재정
23 파이팅 해야지 (Feat. 이영지) 부석순(SEVENTEEN)
24 건물 사이에 피어난 장미 (Rose Blossom) H1-KEY (하이키)        
25 LOVE DIVE IVE (아이브)
26 Love Me Like This NMIXX
27 Salty & Sweet aespa
28 심(心) DK(디셈버)
29 빛이 나는 너에게 던 (DAWN)
30 Cupid (Twin Ver.) FIFTY FIFTY
31 CHRISTIAN 지올팍(Zior Park)
32 한 페이지가 될 수 있게 DAY6 (데이식스)
33 FEARLESS LE SSERAFIM (르세라핌)
34 너의 모든 순간 성시경
35 ELEVEN IVE (아이브)
36 INVU 태연 (TAEYEON)
37 정이라고 하자 (Feat. 10CM) BIG Naughty (서동현)
38 나의 바람 (Wind And Wish) 비투비
39 Heaven(2023) 임재현
40 When I Get Old Christopher(크리스토퍼)
41 That's Hilarious Charlie Puth(찰리 푸스)
42 오르트구름 윤하(Younha/ユンナ)
43 FRIEND THE END 볼빨간사춘기
44 Poppy (Korean Ver.) STAYC(스테이씨)
45 사랑인가 봐 멜로망스(MeloMance)
46 그라데이션 10CM
47 물론 허각
48 Shut Down BLACKPINK
49 That’s Not How This Works (feat. Dan + Shay) Charlie Puth(찰리 푸스)
50 Candy NCT DREAM
51 TOMBOY (여자)아이들
52 Nostalgia 우디(Woody)
53 Pink Venom BLACKPINK
54 사랑..그게 뭔데 지아(Zia)
55 모든 날, 모든 순간 (Every day, Every Moment) 폴킴(Paul Kim)   
56 Nxde (여자)아이들
57 Cookie NewJeans
58 VIBE (feat. Jimin of BTS) 태양
59 Off My Face Justin Bieber(저스틴 비버)
60 I'm Unhappy aespa
61 도깨비불 (Illusion) aespa
62 주저하는 연인들을 위해 잔나비
63 새삥 (Prod. ZICO) (Feat. 호미들) 지코 (ZICO)
64 사랑은 늘 도망가 임영웅
65 다정히 내 이름을 부르면 경서예지
66 STAY The Kid LAROI
67 Welcome To MY World (Feat. nævis) aespa
68 Say I Love You 우디(Woody)
69 해요 (2022) #안녕
70 그때 그 순간 그대로 (그그그) WSG워너비 (가야G)
71 Monologue 테이(Tei)
72 Perfume NCT 도재정
73 취중고백 김민석 (멜로망스)
74 나의 X에게 경서
75 잠깐 시간 될까 이무진
76 딱 10CM만 10CM
77 봄여름가을겨울 (Still Life) BIGBANG (빅뱅)
78 NOT SORRY (Feat. pH-1) (Prod. by Slom) 이영지
79 부동의 첫사랑 10CM
80 F*ck My Life 세븐틴(SEVENTEEN)
81 드라마 아이유(IU)
82 Love story 볼빨간사춘기
83 슝! (feat. LISA of BLACKPINK) 태양
84 Unholy Sam Smith(샘 스미스)
85 WHEN I MOVE 카라(Kara)
86 Rush Hour (Feat. j-hope of BTS) Crush
87 나의 마음에 (Seed) 태양
88 Left and Right (Feat. Jung Kook of BTS) Charlie Puth(찰리 푸스)
89 이브, 프시케 그리고 푸른 수염의 아내 LE SSERAFIM (르세라핌)   
90 자격지심 (Feat. ZICO) BE'O (비오)
91 strawberry moon 아이유(IU)
92 Dynamite 방탄소년단
93 LOVE me BE'O (비오)
94 내가 아니라도 주호
95 밤이 무서워요 (Lonely Night) 주주 시크릿
96 Feel My Rhythm Red Velvet (레드벨벳)
97 안녕이라고 말하지마 V.O.S.
98 Next Level aespa
99 Expectations Anne-Marie(앤 마리)
100 Anti-Hero Taylor Swift(테일러 스위프트)

 

 

 

 

100위 까지 깔꼼하게 나왔당 이제... 이걸 DB에 저장도 하고 또 써먹어야 하는데

어떻게 하징..