日付:
中小企業診断士2次試験
- リンクを取得
- ×
- メール
- 他のアプリ
本日から、EVEMST014クローニングシステムのテーブル設計に入っているのですが、意外とむずいことが判明・・・。流れ的には以下の流れを考えています。
現在、1.市場に存在する銘柄の把握するための器となる、2.存在する銘柄のプロパティを格納するための、レコード設計をしました。設計してみて判明したことは、外部テーブルを7つも参照し、カラムが27個もあるということ・・・。旧システムでも一度作ったのですが、新システムに適合しようとした場合、そんな感じになります。
以上の情報は、Yahoo様にからダウンロードさせていただく予定ですし、旧システムでもそうさせていただいたのですが、久しぶりに見る企業情報は、かなりスリムになったという印象です。以前は最寄り駅とか、電話番号とかもありましたが、現在は、本当に必要と思われる情報しか掲載されていません。
加えて、決算の情報を公開していたのですが、その情報も、現在は、非公開に・・・。一部公開はされていますが、プレミアム会員でないとすべての情報は見れないようです。まっ、Yahoo様にもうけさせてもらって入会して、拝見させていただきましょう!
まだ、今後の予定は公開していませんが、その状況については、今週末にお知らせします。
現状把握を昨日しようとしましたが、時間の関係でできなかったので、ブログを書きながら確認します。
ブログを現在非公開にしていて、その非公開にするに際し、一括でしたため、日付が現在、非公開の日付となっており、その並びは、多分、タイトル順となっています。そのため、どこまで書いたのか特定するのが困難な状況です。
そこで、日々書いているブログのバックアップから確認をすることにしました。
そこで、確認すると、事例問題を解答した最終日が、6月8日で、どうも、令和元年 中小企業診断士 2次試験 事例Ⅳ 第4問 設問1を解答しようと思っていたんだけれど、やめて、一次試験に集中したという流れとなっているようです。先ほど、同ブログを特定し、公開しました。これで、明日から、書くことができそうです。
今、ちょっと、調べていたら、Yahooをクローニングするのって、技術的には可能なんだけれど、規約的に不可なんですね・・・。以前はどうだったんだろうか?以前は、何も考えずにダウンロードしていましたが、今、AIがあって、その規約情報等を簡単に調べることができます。知ってしまったからには、規約に違反することはできませんね・・・。しかも、利用停止になる可能性があるとか・・・。まっ、頻繁に使ってはいないけれど、やはり、望ましい状況ではないので、Yahooからの情報の取得は諦めたいと思います。
そこで、改めて調べてみると、東京証券取引所で提供しているJ-Quantsから情報の取得が一番安全性が高いようです。yfinanceというサイトが私がこれからやろうとしていることを既にやっているらしいのですが、規約的にはいつ利用停止になってもいい状態らしい・・・。
Freeで使用すると言うことを考えた場合、J-Quantsに欲しい情報のすべてがあるわけではないのだが、有料にすることにより、欲しい全ての情報が入るらしい・・・。まっ、いろいろと安定し、収入が安定してきたら、有料にする方向で考えて、J-Quantsからの情報の取得する方向で設計を変更します。
Yahooから株式情報を取得しようとした場合、HTMLのページをダウンロードして、データクレンジングした上で必要な情報を抽出しなければなりません。しかし、J-Quantsは、JSONファイルをダウンロードして、データベースに突っ込むだけの作業になります。まっ、他にも開発予定なものがあるし、予定を変更します。
それと、調べている途中に立花証券会社では、無料でいろいろな情報がプログラムから取得できるように、APIを用意してくれているようです。資金的余裕ができたら、口座開設をしたいと思います。
では、また!!!
コメント
コメントを投稿