데이터 수집/공시
EDINET 일본 공시 데이터 긁어오기 실전 문답
왜 중요한가
오카네의 EDINET 크롤링 실패를 두고 다시시작한 개발자가 코덱스로 도요타 공시 PDF를 직접 받아 보이며 파이썬·코랩 우회를 제안, 오카네는 결국 허용 사이트 추가로 해결했다.
깊이 보기
お金を撒くライアン(오카네)이 'claude.ai에서 EDINET(일본 dart, 상장회사 공시자료)을 가져오는 스킬을 만들고 싶은데 API를 취득했는데도 클로드가 못 긁어온다'며 도움을 청했다.
- 회사에서 클로드코드나 앱을 못 써서 스킬에 이것저것 박아넣어 claude.ai에서 돌리는 '온몸비틀기' 중이고, 리서치 근거를 확실히 하려는 목적이라 했다.
- 다시시작한 개발자는 캐나다 공시는 API 접근에도 돈을 요구하고 한국은 그냥 주는데 '주주 보라고 공개된 공시로 장사한다'고 서양 마인드를 꼬집었다.
- 하품하는 죠르디는 '구글 코랩에서 파이썬 코드를 클코한테 써달라 하고 API 키만 복붙해 돌려보라, 토큰 측면에서 유지보수도 더 싸게 먹힐 것'이라 조언했다.
- 다시시작한 개발자는 실제로 코덱스로 도요타자동차(E02144)를 EDINET 서류상세검색에서 조회해 rinji_hokokusho 등 PDF 3개를 받아 파일명과 저장 경로(D:\SynologyDrive\Drive\CODEX\EDINET), manifest.csv까지 공유하며 'API는 키 발급이 필요해 이번엔 열람 사이트 경로로 가져왔다'고 했다.
- 오카네는 PDF를 넣는 방식으로 가면 '이미지는 100개까지만 넣을 수 있다'며 채팅이 터진다는 claude.ai 웹의 제약을 토로했다.
두 사람은 직업도 나눴는데, 오카네는 기업인수합병(회사 되팔이) 쪽으로 고객이 원하는 매물 회사를 공시자료의 공장 크기·노후화·설비투자액으로 초기 선별한 뒤 '야쿠자든 마피아든 직접 만나고 오는 것까지가 리서치'라 했고, 다시시작한 개발자는 어떤 나라 상장사 전체 연차보고서 파싱이 끝나가는 공시전문 AI·상장기업 레포트를 만드는 중(다른 나라 공시 120만 개가 하드에)이라 했다. 오카네는 EDINET API 사이트가 문자 인증 후 먹통이라 애를 먹다 결국 '설정에서 허용 사이트에 edinet을 추가하니 되더라'며 딴 데서 답을 받아 해결했다고 알렸다.