「smartpaste-client.log」などのファイルは削除してよいですか?

はい、削除しても動作に支障はありません。
ただし、これらはアプリの動作記録や設定を保存するためのファイルです。
アプリを起動するたびに再度自動で作成される仕様となっています。

ファイルがデスクトップに散らばるのが不便な場合は、以下をお試しください。

デスクトップの何もない場所で右クリックし、[新規作成] > [フォルダー] を選択します。
フォルダ名は「medimo」など任意のものでOKです
デスクトップにあるアプリ本体(smartpaste-client.exe)を、作成したフォルダ内へ移動させます。
移動させたフォルダの中からアプリを起動します。

関連: