Adobe Illustratorでこの星形の任意のエッジを丸めます。

このように鈍角部分だけを丸めます。本当は全てのエッジですが、鈍角部分を違う径にしたいのです。そのやり方です。

ダイレクト選択ツールで鈍角部分のポイントを選択します。複数なのでshiftを押しながらです。
肝心の作業中をスクリーンショットできないので文での説明です。
選択したポイントのどれか一つの内側の系の中心になるポイントをドラッグして角を丸めます。動かすのは一つでも複数選択しているので全部動きます。想定していたカーブになったら出来上がりです。

鋭角のエッジも同様にダイレクト選択ツールでshiftを押しながら複数選択します。
そしてエッジの径になる中心点を任意の角丸になるように調整するとこのようになります。