卓球するロボットアームを作りたい

質問

下記のような卓球するロボットアームを作りたいのですが、市販のサーボモーターを使ってアームを3Dプリンタで作り、ビジュアルフィードバック制御で、DIYで可能ですか？

https://youtu.be/J3gvpaNFvZU

プログラムとしては、

①画像認識で卓球の球を認識し、その位置、速度の情報を取得するプログラム
②その球の軌道を予測するプログラム
③軌道に対してどのようにラケットを振るか(ラケットの軌道、姿勢をどうするのか)というプログラム
④目標軌道通りになるようにモーターを制御するプログラム

ができれば可能でしょうか？

②以外は何とかできそうな気もしないでもないですが、②はどのようにしてすれば良いでしょうか？ご教授のほどよろしくお願いします。

回答No.4

hahaha8635 · ベストアンサー

機能長文書いたのにアップされてない

シリアル通信速度(RS232C)です
https://qiita.com/Nomisugi/items/eb2875fcdeede65d6189#:~:text=%E3%81%A8%E3%81%84%E3%81%86%E4%BA%8B%E3%81%A7%E3%80%81Web%E6%83%85%E5%A0%B1,%E5%AE%9F%E9%9A%9B%E9%80%9A%E4%BF%A1%E3%81%8C%E3%81%A7%E3%81%8D%E3%81%BE%E3%81%99%E3%80%82

USBを使ってますが
中身はRS232Cです
アルディーノの場合　115200bps　が限界です
100kbyte＝209.718秒です
画像データは640x480x3=979,200バイト≒1000kバイト
じゃ話になりません

超音波でもできますが
ピンポン玉を検出できるかは？です

ESP32CAM　で　WiFi　で　30FPS　ぐらい出るようです
この間買ったが技適が通ってないので　電波出すと違法
https://www.tele.soumu.go.jp/j/adm/monitoring/summary/qa/giteki_mark/

廃止してくれんかなぁ
WiFi自体は免許いらないことは知っていたのに
使えないとは　技適通ってるやつも売ってる(CAM版はまず通ってないのでチップ交換が必要　現在作業中)

画像認識　https://www.acrovision.jp/career/?p=2089
など
3D計算
軌跡予測もどっかのAI探す

ロボットに返すです

単にデジカメが欲しくて　ちょっと調べただけなので　
あと聞く前に考えましょう
ネタとしてはいいが
考えないとだめよ

ついでに
締め切られたけど
ローランドＤＧで
アルミ　銅は　切削可能です　メーカも非公式ですが認めてます
キリコが伝送部に入るともちろんショートして壊れます
おすすめはしないが　条件しだいです

お礼

沢山教えて頂きありがとうございます！！自分でも調べて勉強してやってみます。ありがとうございました！

回答No.3

hahaha8635

DIYレベルなのかどうかは不明
参考のはCMなのでフィクションです
スピンかけられたりしたら対応できない
6軸は人間の腕と考えられてるが肩の関節がないので人間の動きより可動域が狭い
理想はもう2軸直行が必要　最低でも左右に動くもの

実機
https://www.youtube.com/watch?v=pQ0JJbImWIA
オムロン

ざっくり見積もり
長文書いたが見積100万以下　安くなったものだ

ハード
https://jp.banggood.com/6DOF-Mechanical-Robot-Arm-Claw-With-Servos-For-Robotics-Arduino-DIY-Kit-p-1256135.html?rmmds=detail-left-hotproducts&cur_warehouse=CN

⇡
デジタルサーボ(デジタルサーボなので速度制御ができない　滑らかな動きは出来ない)なので　サーボかステッピングにする必要がり

1.5万+6万

パソコンは20万クラスで化

ロボットの制御系は　アルディーノだと通信速度が遅いので
ラズベリーパイピコ　か　ESP32　WiFi

カメラユニット
https://www.amazon.co.jp/dp/B088M1BHD2/ref=sspa_dk_crr_aax_0?psc=1&spLa=ZW5jcnlwdGVkUXVhbGlmaWVyPUEyREkyWVFLUk9IR1NVJmVuY3J5cHRlZElkPUEwMzcyMDM5MlFMOUFGNVFWQzhSVSZlbmNyeXB0ZWRBZElkPUExQVhaUkQ5UUxOUU5DJndpZGdldE5hbWU9c3BfY3JyX3NoYXJlZCZhY3Rpb249Y2xpY2tSZWRpcmVjdCZkb05vdExvZ0NsaWNrPXRydWU=

0.3万ｘ2(３Ｄ解析が必要なので2個)
ただし画像だと処理が重いのでもっと軽いものがよい

AI　オープンソース
https://docs.microsoft.com/ja-jp/cognitive-toolkit/

ここまで40万ぐらい

3Dプリンタでは精密さが足りない
加工機が必要

なので私は自作NCを作ってますよ
全く進んでないが

ESP32などでWiFiするには　技適が必要
https://www.tele.soumu.go.jp/j/adm/monitoring/summary/qa/giteki_mark/

安いデジカメ作ろうと思ったら技適対応出なかった

日本で売ってるんだからとっとけよ　と思う

お礼

詳しい情報をありがとうございます。

> ロボットの制御系は　アルディーノだと通信速度が遅いので

これは画像処理のための通信速度という事でしょうか？それともモーターを制御する時のサンプリング周波数でしょうか？1msでは遅いのでしょうか？

すみませんそれと、卓球の球の識別はどのようにすれば良いでしょうか？機械学習でしょうか？それとももっと簡単で確実な方法があるのでしょうか？通常どのような方法で識別するのでしょうか？

NCについては、Roland D Gの卓上NCを持っているので、それで加工することにします。
もっと腕が上がったら回答者様のように自作NCにチャレンジしてみたいと思います。

恐れ入りますが、ご教授頂ければ幸いです。

回答No.2

ohkawa3

ロボットメーカーの取り組みとしては、球の軌道の観測結果だけで制御するのではなく、相手プレーヤーの動きをはじめとして、表情や脈拍のデータまで取得して、球の軌道を予測しているようですね。
https://toyokeizai.net/articles/-/324080

メカの応答速度には限度があるので、予測技術も必要なのですね。
勉強することが沢山あって楽しいですね。

お礼

ご回答ありがとうございます。

> 表情や脈拍のデータまで取得して、球の軌道を予測

そうなのですね！。。。なかなか凄いですね。表情や脈拍から予測できるものなのですね、意外でした。。

すみませんちなみにですが、球の識別は通常どうやってするのでしょうか？機械学習させるのでしょうか？それとも他のやり方があるのでしょうか？初歩的な質問で恐縮ですが、ご教授頂ければ幸いです。

回答No.1

FattyBear

面白そうですよね。夢が膨らみますね。
ただ漠然とした推測ですが、ロボットアームの
現実的な移動速度が不足するような気がします。
対する人間がある程度緩い返球をしない限り
ロボットの動きが球の動きについていけないの
では、と思います。ロボットアームの（超）高速
制御が可能な機構、構造が必須かと思います。
①～③は現在のPCでの高速演算能力で達成できても
④は３次元＋角度の機械的高速動作が必要ですが
人間の動作以上の能力の実現がむずかしかも。

お礼

ご回答ありがとうございます。

> ④は３次元＋角度の機械的高速動作が必要です

なるほど、高速動作がポイントとなるのですね。教えて頂きありがとうございました。