인터넷 사이트에서 구글시트로 데이터를 부를 수 있을까요?

@구소련 님 https://docs.google.com/spreadsheets/d/1AUvKgEn2z0_h5qDczZUBAouT19QbZYC8T0hlIbLbYaM/edit?usp=sharing

@구소련 님 본문을 보니 대충 사용법은 아실 것 같아 상세한 설명은 생략하겠습니다.

이런식으로 더듬더듬 찾아내야 합니다.

링크에 샘플로 만들었으니 참고하셔서 사용하시면 됩니다.

마지막으로 데이터가 지저분하게 크롤링 되니,

원하는 데이터를 뽑아낸 다음에는 정규식을 활용해서 깔끔하게 정리하시면 됩니다.

정규식은 챗지피티에게 물어보면 잘 알려줍니다~

예

구글스프레드시트에서 정규식 활용법을 알려줘
a1 = 출발시간 09:17 도착시간 10:10

이라는 텍스트가 있다면
09:17 만 추출하도록 정규식을 만들어줘
라고 질문하면

=REGEXEXTRACT(A1, "출발시간 (\d+:\d+)")

이런 정규식을 알려줍니다

@구소련 님 이런 크롤링 작업은

1. 정확한 xPath 값을 찾아내는게 우선인데 그게 은근히 노가다입니다.

2. 찾아내더라도 원하는 모양대로 나오지 않고, 불필요한 줄바꿈도 많고, 셀 하나에 여러 데이터가 한꺼번에 들어오는 경우도 많습니다.

substitute 함수로 줄바꿈 char(10) 을 없애주거나, 정규식을 활용해서 원하는 데이터만 뽑아낸 다음 다시 재배열 하는 과정도 필요합니다.

3. 마지막으로 위 내용이 다 되더라도, 실시간으로 크롤링해주지 않고 5분 간격으로 크롤링 하는데 그 역시도 먹통이 되는 경우가 허다합니다.

그래서 꼼수를 한번 더 써야 합니다

함수를 지웠다 다시 쓰면 로딩 되면서 데이터를 가져오는 특성을 이용한 꼼수입니다.

그 꼼수를 매크로로 만든 다음 트리거를 활용해서 특정 시간 마다 한번씩 함수를 지웠다 썼다를 반복하게 만들어두면

자동화가 완성됩니다.

@구소련 님 저가 님 같은 초보들은 이런식으로 크롤링으로 불완전한 데이터를 가져오지만

전문가들은 이런방법을 쓰지 않고

https://odp.airport.kr/apiPortal/main

공공데이터에 api를 신청해서 끌어와서 홈페이지나 앱으로 제작할 수 있습니다.

(저도 그걸 해보고 싶은데 미루고 있습니다 ㅎㅎ)