【開発進捗 第2回】モノマネ歌手養成ギブス、ついに録音前の制作工程が動いた!AI×Python×音声処理の開発記録
場数だよ。練習あるのみ。今夜もオールで歌いまくりだ。
こんにちは!
「おっさんが歌ってみました。」プロジェクトです。
今回は、開発を進めている 「モノマネ歌手養成ギブス」 の最新進捗をご紹介します。
前回の記事では、このシステムで何を実現したいのか、どのような技術を使うのか、最終的にどんなシステムを目指すのかについてお話ししました。
今回は、構想だけではありません。
実際にWindows環境でプログラムを動かし、音声処理を実行し、成果物を検証した結果をご紹介します。
もちろん、開発中なので失敗もあります。
でも、それも開発の大切な記録です。
設計して、作って、動かして、失敗して、直して、また動かす。
この繰り返しこそ、今回のプロジェクトの面白いところだと思っています。
■ 1.今回の開発目標
現在は、「モノマネ歌手養成ギブス」の基本機能を一つずつ作っています。
最初の目標は、歌唱練習用の音源を準備するための処理を、できる限り一括で実行できるようにすることです。
具体的には、次の4つの処理を統合しました。
① MP4からWAVへの音声変換
② 自分の声域に合わせたキー変更
③ 歌声と伴奏音源の分離
④ AIによる文字起こしと字幕データ生成
これまで個別に動かしていたツールを、一つの制作工程として連携させる開発です。
目指しているのは、何度も同じ操作を繰り返す負担を減らし、歌唱練習そのものに集中できる環境です。
■ 2.今回活用した技術
今回のWindows開発環境では、主に次の技術を利用しています。
Python
音声処理ツールの実行、ファイル管理、処理結果の確認などに使用しています。
FFmpeg
動画からの音声抽出や音声ファイルの検証に活用しています。
AI音源分離技術
歌声と伴奏を分離するため、Demucsを利用しています。
AI音声認識技術
音声の文字起こしには、faster-whisperを利用しています。
PowerShell・Windowsバッチ
それぞれの処理を連携させ、一括実行やエラー検出、再実行を可能にするために活用しています。
ここで重要なのは、個々の技術だけではありません。
複数の技術を組み合わせて、一つの業務として動作させること。
これが、今回取り組んでいるDX開発のポイントです。
■ 3.最初の統合試験は成功!
今回、開発用の録音前バッチを実行し、4つの処理を連携させることができました。
実行結果はこちらです。
処理 結果
WAV音声の準備 成功
キー変更済み音源の確認 成功
歌声・伴奏分離済み音源の確認 成功
AI文字起こし 成功
文字起こし結果4形式の確認 成功
最終的に、プログラムの終了コード「0」=正常終了を確認しました。
なお、先行する音声変換・キー変更・音源分離については、既に作成していたファイルを再利用する試験を行いました。
すべての処理を最初から新規実行して成功したという意味ではありませんが、工程間の連携と成果物の確認は成功しています。
AI文字起こしで生成したファイル
今回の文字起こし工程では、次の4形式の出力を確認しました。
• TXT:文字起こし結果
• SRT:字幕用データ
• CSV:時間情報を含む分析用データ
• JSON:プログラム連携用データ
一つの音声から、複数の用途に利用できるデータを準備する仕組みです。
ただし、AIによる歌声の文字起こしは、歌詞や区切り、時刻が必ず正しくなるわけではありません。
そのため、生成データを人間が確認・修正する工程も必要です。
■ 4.開発中にはエラーも発生!
別の楽曲データでも同じ処理を試したところ、キー変更の工程でプログラムが停止しました。
最初は、音声変換処理そのものに問題があるのかと思いました。
しかし、実行ログを調査すると、原因は別のところにありました。
Pythonが日本語の完了メッセージを表示しようとして、文字コードのエラーが発生していたのです。
つまり、音声処理と画面へのメッセージ表示は、別の問題でした。
実際に生成されていた元音声とキー変更後の音声を調べたところ、どちらも正常に読み取れることを確認できました。
そこで、Pythonの文字コード設定を見直す対応を進めています。
こうした問題は、AIだけを使っていても、一般的なWindows・Python開発でも発生します。
改めて感じたのは、エラーが出たからといって、必ずしもすべての処理に失敗しているわけではないということです。
ログを確認し、原因を特定し、正常な成果物を守りながら改善する。
これもシステム開発では重要な技術だと思っています。
なお、この2件目の楽曲については、音声ファイルの読み取り検証まで成功しており、後続の音源分離・文字起こしの統合結果はこれから確認する段階です。
■ 5.今回こだわったのは「やり直しに強いシステム」
音声や動画の処理には、時間がかかる場合があります。
特にAIを利用した音源分離や文字起こしでは、同じ処理を何度も実行すると負担が大きくなります。
そこで、今回の開発では、正常に作成された成果物を再利用する仕組みを取り入れています。
例えば、音声変換が済んでいる場合は、そのファイルを検査したうえで再利用します。
途中の工程でエラーが発生した場合も、最初からすべて作り直すのではなく、必要な工程から再開できるように考えています。
また、作成したファイルについては、ファイル形式の検査やハッシュ値による確認なども行っています。
このような設計は、音楽制作だけでなく、AIを使ったさまざまな業務システムにも応用できます。
速く動くシステムだけでなく、安全に止まり、安全に再開できるシステム。
そこを大切にして開発しています。
■ 6.モノマネ歌手養成ギブスの現在地
現在の開発状況を整理すると、次のようになります。
開発機能 現在の状態
動画からWAV音声への変換 実行確認済み
WAVのキー変更 実行・出力確認済み
再生速度の変更 全体連携は今後検証
歌声・伴奏の分離 実行・出力確認済み
AIによる文字起こし 統合実行成功
字幕付きカラオケ動画制作 開発対象
アカペラ録音管理 開発対象
歌唱能力の分析・採点 将来構想
原曲と自分の歌声の比較 将来構想
歌唱ステータスの継続管理 将来構想
Factory方式でのシステム統合 設計・開発中
FreeBSD仮想環境 構築計画
Ubuntu VPSによるSaaS 将来計画
まだまだ完成形には遠いですが、基本機能が少しずつ動き始めています。
■ 7.次は「歌うためのカラオケ動画」を作る!
今後の開発では、音声処理の結果を利用して、実際に歌唱練習ができる環境を整えていきます。
目標としているのは、伴奏音源と字幕などを組み合わせた練習用動画です。
そして、自分で実際に歌い、アカペラ音源を録音する。
その録音結果を分析し、原曲との違いや改善点を確認できるようにする。
この流れを、一つずつ実現していく予定です。
さらに将来的には、原曲分析工場、カラオケ音源工場、自曲分析・原曲比較工場、文書記録工場などを組み合わせ、練習から分析、コンテンツ発信までを支えるシステムに発展させたいと考えています。
■ 8.著作権と公開範囲について
今回の開発では、既存の楽曲データを使った技術検証も行っています。
ただし、技術的に音声を加工できることと、その音源や映像、歌詞を公開・販売できることは別です。
権利のある楽曲や映像の利用については、必要な許諾や利用条件を確認することを前提にしています。
また、システムの基本設計や一般的な使用技術、検証結果は公開しますが、独自アルゴリズム、ソースコード、詳細な実装仕様などは企業秘密として管理しています。
■ 9.「歌ってみた」からDX事業へ
このプロジェクトは、単に歌が上手になるためだけの活動ではありません。
自分が実際に使うシステムを自分で設計・開発し、その結果を検証する取り組みでもあります。
歌唱練習の中で見つかった課題をシステムの改善につなげる。
システム開発で得た経験を、別の事業やサービスにも活用する。
この循環を大切にしています。
将来的には、こうした実践経験をAI・DX経営支援やコンテンツ制作支援にもつなげていきたいと考えています。
構想や計画だけでなく、実際の開発結果を紹介することで、少しずつ実績を積み重ねていくつもりです。
■ 最後に
「場数だよ。練習あるのみ。今夜もオールで歌いまくりだ。」
まずはシステム開発でも場数を踏む!
作る。
試す。
エラーになる。
原因を探す。
修正する。
そして、また動かす。
これを繰り返しながら、「モノマネ歌手養成ギブス」を育てていきます。
もちろん、本来の目的は歌うことです。
技術を使って練習しやすい環境を整え、いつか自分が納得できる歌唱に近づきたいと思います。
今後も開発進捗をブログで紹介していきます。
次回は、「字幕付きカラオケ動画の制作と、録音環境の構築」をテーマにする予定です。
ご意見・ご感想、よろしくお願いいたします。
最後までお読みいただき、ありがとうございました!
#おっさんが歌ってみました #モノマネ歌手養成ギブス #開発日誌 #AI活用 #Python #FFmpeg #音声解析 #DX #Windows #システム開発 #一人起業